[논문 리뷰] The noise barrier and the large signal bias of the Lasso and other convex estimators

Pierre Bellec|arXiv (Cornell University)|2018. 04. 04.

Statistical Methods and Inference참고 문헌 5인용 수 10

한 줄 요약

이 논문은 라소와 같은 볼록 추정기의 예측 오차를 설명하기 위해 소음 장벽과 큰 신호 편향이라는 새로운 진단 도구를 제안한다. 설계 행렬에 대한 호환성 조건이 빠른 예측 속도를 확보하기 위해 불가피하다는 것을 증명하며, 조정 파arameter가 임계 임계값에 비해 작을 경우에 라소의 성능에 날카운 단계 전이가 발생함을 규명한다. 이는 무작위이자 데이터 기반의 조정 파arameter에 대한 함의를 포함한다.

ABSTRACT

Convex estimators such as the Lasso, the matrix Lasso and the group Lasso have been studied extensively in the last two decades, demonstrating great success in both theory and practice. Two quantities are introduced, the noise barrier and the large scale bias, that provides insights on the performance of these convex regularized estimators. It is now well understood that the Lasso achieves fast prediction rates, provided that the correlations of the design satisfy some Restricted Eigenvalue or Compatibility condition, and provided that the tuning parameter is large enough. Using the two quantities introduced in the paper, we show that the compatibility condition on the design matrix is actually unavoidable to achieve fast prediction rates with the Lasso. The Lasso must incur a loss due to the correlations of the design matrix, measured in terms of the compatibility constant. This results holds for any design matrix, any active subset of covariates, and any tuning parameter. It is now well known that the Lasso enjoys a dimension reduction property: the prediction error is of order $λ\sqrt k$ where $k$ is the sparsity; even if the ambient dimension $p$ is much larger than $k$. Such results require that the tuning parameters is greater than some universal threshold. We characterize sharp phase transitions for the tuning parameter of the Lasso around a critical threshold dependent on $k$. If $λ$ is equal or larger than this critical threshold, the Lasso is minimax over $k$-sparse target vectors. If $λ$ is equal or smaller than critical threshold, the Lasso incurs a loss of order $σ\sqrt k$ -- which corresponds to a model of size $k$ -- even if the target vector has fewer than $k$ nonzero coefficients. Remarkably, the lower bounds obtained in the paper also apply to random, data-driven tuning parameters. The results extend to convex penalties beyond the Lasso.

연구 동기 및 목표

• 고차원 희소 선형 회귀에서 라소와 같은 볼록 추정기의 기본적인 한계를 이해하기 위해.
• 라소가 빠른 예측 속도를 달성하기 위해 설계 행렬에 대한 호환성 조건이 반드시 필요함을 밝히기 위해.
• 조정 파arameter가 임계 임계값에 대해 상대적으로 변화함에 따라 라소의 예측 오차에 나타나는 날카운 단계 전이를 특성화하기 위해.
• 라소를 초월한 볼록 페널티, 특히 핵노름과 그룹 라소 페널티에 대한 분석을 확장하기 위해.
• 무작위이자 데이터 기반의 조정 파arameter에 대해서도 예측 오차의 하한이 유지됨을 보여주기 위해.

제안 방법

• 볼록 추정기의 예측 오차를 특성화하기 위해 소음 장벽과 큰 신호 편향이라는 두 가지 새로운 양을 도입한다.
• 소음 장벽을 사용하여 예측 오차의 하한을 유도하며, 조정 파arameter가 임계 임계값 이하일 경우 성능이 악화됨을 보여준다.
• 설계 행렬의 호환성 상수가 예측 변수 간 상관관계로 인한 피할 수 없는 편향을 정량화함을 규명한다.
• ℓ₁-페널티를 적용한 라소에 이 프레임워크를 적용하고, 핵노름과 그룹 라소 페널티를 사용한 행렬 및 그룹 라소 설정으로 확장한다.
• 비선형 추정기의 특성에 맞게 조정된 편향-분산 분해를 사용하여, 예측 오차를 설계 행렬의 구조와 조정 파aram터 선택의 관점에서 해석할 수 있도록 한다.
• 무작위이자 데이터 기반의 조정 파aram터가 임계 임계값 이하일 경우, 미묘한 모멘트 조건 하에 조차도 동일한 하한 σ√k 가 유지됨을 증명한다.

실험 결과

연구 질문

• RQ1 설계 행렬에 대한 호환성 조건이 라소가 빠른 예측 속도를 달성하기 위해 진정으로 필수적인가?
• RQ2 조정 파arameter가 임계 임계값 이하일 경우 라소의 예측 오차는 어떻게 되는가?
• RQ3 소음 장벽과 큰 신호 편향은 라소를 초월한 볼록 추정기의 성능을 이해하는 데 사용될 수 있는가?
• RQ4 무작위이자 데이터 기반의 조정 파aram터에 대해서도 예측 오차의 하한이 유지되는가?
• RQ5 낮은 질서의 행렬 복원에서 핵노름 페널티가 가해진 추정기의 성능은 무페널티 최소 제곱 추정기와 어떻게 비교되는가?

주요 결과

• 라소가 빠른 예측 속도를 달성하기 위해 설계 행렬에 대한 호환성 조건이 필수적임을 입증하며, 이를 만족하지 못할 경우 호환성 상수의 역수 비례로 편향이 발생함을 보여준다.
• 라소의 예측 오차에 날카운 단계 전이가 발생한다: 조정 파arameter λ가 임계 임계값 이하일 경우, 진짜 벡터의 비제로 계수 개수가 k보다 훨씬 적더라도 오차는 최소 σ√k 수준이 된다.
• 미묘한 모멘트 조건을 만족하는 데이터 기반 조정 파aram터에 대해서도, 기대 조정 파aram터가 임계 임계값 이하일 경우 동일한 하한 σ√k 가 유지된다.
• 핵노름 페널티가 가해진 추정기의 경우, 기대 조정 파aram터가 cσ√m/4 이하일 경우 예측 오차 하한이 σ√(Tm) 수준이 되며, 이는 이러한 경우에 무페널티 최소 제곱 추정기와 비교해 성능 향상이 없다는 것을 시사한다.
• 큰 신호 편향 하한은 목표 벡터가 희소하고 조정 파aram터가 적응적으로 선택된 경우에도 설계 행렬의 상관관계로 인해 예측 오차가 본질적으로 페널티를 받는다는 것을 보여준다.
• 결과는 그룹 라소와 행렬 라소를 포함한 일반 볼록 페널티로 확장되며, 페널티 구조와 설계 행렬 성질에 따라 유사한 하한이 유지된다.