[논문 리뷰] Estimation with Norm Regularization

Arindam Banerjee, Sheng Chen외 2명|arXiv (Cornell University)|2015. 05. 09.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 41

한 줄 요약

이 논문은 네 가지 핵심 요소인 노름 유형, 설계 행렬, 손실 함수, 노이즈 모델을 종합적으로 일반화하여 노름 정규화된 회귀 추정기의 통합된 비점근 분석을 제시한다. 추정 오차가 표본 복잡도가 제한 조건을 초과하면 $\frac{c}{\sqrt{n}}$ 속도로 감소함을 입증하며, 주요 결과는 서브-가우시안 설계와 볼록 손실 함수 하에서 임의의 노름에 적용 가능한 일반적 경계를 제공한다.

ABSTRACT

Analysis of non-asymptotic estimation error and structured statistical recovery based on norm regularized regression, such as Lasso, needs to consider four aspects: the norm, the loss function, the design matrix, and the noise model. This paper presents generalizations of such estimation error analysis on all four aspects compared to the existing literature. We characterize the restricted error set where the estimation error vector lies, establish relations between error sets for the constrained and regularized problems, and present an estimation error bound applicable to any norm. Precise characterizations of the bound is presented for isotropic as well as anisotropic subGaussian design matrices, subGaussian noise models, and convex loss functions, including least squares and generalized linear models. Generic chaining and associated results play an important role in the analysis. A key result from the analysis is that the sample complexity of all such estimators depends on the Gaussian width of a spherical cap corresponding to the restricted error set. Further, once the number of samples $n$ crosses the required sample complexity, the estimation error decreases as $\frac{c}{\sqrt{n}}$, where $c$ depends on the Gaussian width of the unit norm ball.

연구 동기 및 목표

• 기존 문헌이 주로 등방성 가우시안 설계와 $L_1$와 같은 특정 노름에 국한되어 있는 비점근 추정 오차 분석을 일반화하기 위해.
• 정규화된 노름과 상수 $\beta > 1$를 포함한 조건을 통해 정의된 추정 오차 벡터가 포함되는 제한된 오차 집합 $E_r$를 특성화하기 위해.
• 정규화된 추정기와 제약 조건이 부여된 추정기 사이의 연결 고리를 설정하여, 적절한 조건 하에서 오차 집합 포함성에서 동치성을 보여주기 위해.
• 제한된 오차 집합에 대응하는 구면 캡의 가우시안 폭에 따라 의존하는 일반적인 표본 복잡도 임계값을 도출하기 위해.
• 충분한 표본이 확보된 후 추정 오차 감소 속도를 정밀하게 기술하기 위해, $c$는 단위 노름 구의 가우시안 폭에 비례한다.

제안 방법

• 모든 $\beta > 1$에 대해 $R(\theta^* + \Delta) \leq R(\theta^*) + \frac{1}{\beta} R(\Delta)$ 조건을 만족하는 일반적인 제한된 오차 집합 $E_r = \{ \Delta \in \mathbb{R}^p \mid R(\theta^* + \Delta) \leq R(\theta^*) + \frac{1}{\beta} R(\Delta) \}$을 도입하여 추정 오차의 구조를 포괄한다.
• 제한된 오차 집합과 관련된 집합 위에서 서브-가우시안 과정의 Supremum을 유계로 만드는 데 일반화된 체이닝과 가우시안 과정 부등식을 적용한다.
• 고든의 부등식과 가우시안 폭의 성질을 사용하여 제한된 고유값과 제한된 강력한 볼록성 조건에 대한 경계를 유도한다.
• 손실 함수의 헤시안을 제한된 오차 집합에서 분석하여 최소 고유값이 가우시안 폭에 비례하는 항으로 아래에서 유계로 되어 있음을 보여준다.
• 서브-가우시안 농도와 체이닝 추론을 사용하여 경험 헤시안 $\frac{1}{n} \sum_{i=1}^n \langle X_i, u \rangle^2 \mathbb{I}[\cdots]$에 대한 고확률 하한을 유도한다.
• 정규화 파rameter $\lambda_n$가 일관된 복구를 보장하기 위해 제한된 집합의 가우시안 폭에 비례하여 스케일링되어야 한다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 노름, 설계 행렬, 손실 함수, 노이즈 모델의 네 가지 요소 전반에 걸쳐 비점근 추정 오차 경계를 어떻게 일반화할 수 있는가?
• RQ2 노름 정규화 추정기의 제한된 오차 집합 $E_r$는 정확히 어떻게 기술할 수 있으며, 이는 추정 오차 벡터와 어떻게 관련이 있는가?
• RQ3 노름 정규화 추정기의 표본 복잡도는 매개변수 공간의 기하적 성질, 예를 들어 가우시안 폭에 따라 어떻게 달라지는가?
• RQ4 표본 복잡도 임계값을 초과한 후 추정 오차의 수렴 속도는 무엇인가?
• RQ5 일반화된 체이닝과 서브-가우시안 농도 기법을 통해 비대칭적이고 서브-가우시안 설계 행렬에 대해 더 날카운 경계를 어떻게 도출할 수 있는가?

주요 결과

• 적절한 $\lambda_n$가 충분히 클 경우 추정 오차 벡터 $\hat{\Delta}_n$는 $\beta > 1$를 포함한 노름 기반 제약 조건으로 정의된 제한된 오차 집합 $E_r$에 포함된다.
• 노름 정규화 추정기의 표본 복잡도는 제한된 오차 집합에 대응하는 구면 캡의 가우시안 폭에 의해 결정된다.
• 표본 수 $n$이 필요한 표본 복잡도를 초과하면 추정 오차는 $\frac{c}{\sqrt{n}}$ 속도로 감소하며, 이때 $c$는 단위 노름 구의 가우시안 폭에 비례한다.
• 서브-가우시안 설계 행렬과 볼록 손실 함수(최소 제곱법 및 일반화선형모형 포함) 하에서는 일반화된 체이닝을 통해 고확률 오차 경계를 도출할 수 있다.
• 손실 함수의 제한된 강력한 볼록성 조건은 제한된 오차 집합의 가우시안 폭에 의해 기술되며, 이는 더 날카운 복구 보장을 가능하게 한다.
• 서브-가우시안 가정 하에서 경험 헤시안의 하한이 $\underline{\rho}^2 \left(1 - c\kappa_1^2 \frac{w(A)}{\sqrt{n}}\right)$ 비례하는 항으로 고확률로 유계로 되어 있음을 분석이 입증한다.