[논문 리뷰] An $\{l_1,l_2,l_{\infty}\}$-Regularization Approach to High-Dimensional Errors-in-variables Models

Alexandre Belloni, Mathieu Rosenbaum외 1명|arXiv (Cornell University)|2014. 12. 22.

Statistical Methods and Inference참고 문헌 10인용 수 4

한 줄 요약

이 논문은 오차가 있는 변수를 가진 고차원 선형 회귀 모델에 대해 두 가지 새로운 추정기들을 제안한다. 이들 추정기는 $\beta_1$, $\beta_2$, 및 $\beta_\infty$-노름 정규화를 공동으로 활용하여 안정성을 향상시킨다. 주요 기여는 오차 분포에 대한 강력한 가정이 없이도 정확한 오차 분산의 초기 추정치가 필요 없이도 최적의 수렴 속도를 달성할 수 있다는 점이다.

ABSTRACT

Several new estimation methods have been recently proposed for the linear regression model with observation error in the design. Different assumptions on the data generating process have motivated different estimators and analysis. In particular, the literature considered (1) observation errors in the design uniformly bounded by some $\bar δ$, and (2) zero mean independent observation errors. Under the first assumption, the rates of convergence of the proposed estimators depend explicitly on $\bar δ$, while the second assumption has been applied when an estimator for the second moment of the observational error is available. This work proposes and studies two new estimators which, compared to other procedures for regression models with errors in the design, exploit an additional $l_{\infty}$-norm regularization. The first estimator is applicable when both (1) and (2) hold but does not require an estimator for the second moment of the observational error. The second estimator is applicable under (2) and requires an estimator for the second moment of the observation error. Importantly, we impose no assumption on the accuracy of this pilot estimator, in contrast to the previously known procedures. As the recent proposals, we allow the number of covariates to be much larger than the sample size. We establish the rates of convergence of the estimators and compare them with the bounds obtained for related estimators in the literature. These comparisons show interesting insights on the interplay of the assumptions and the achievable rates of convergence.

연구 동기 및 목표

• 설계 오차가 존재하는 고차원 회귀에서 표준 Lasso와 Dantzig 선택기의 불안정성을 해결한다.
• 설계 오차가 균일하게 유계가 아니거나 오차 분산을 정확히 추정할 필요가 없을 때에도 일致하는 추정기를 개발한다.
• 오차의 구조에 대한 최소한의 가정 하에 추정 오차 속도에 대한 이론적 보장을 제공한다.
• 다양한 노름 정규화($\ell_1$, $\ell_2$, $\ell_\infty$) 간의 상호작용과 그 수렴 속도에 미치는 영향을 탐색한다.
• 기존 방법과 동일한 가정 조건 하에서 최적의 수렴 속도를 달성하거나 이를 초월하며, 특히 정확한 분산 추정치가 없을 경우의 성능을 확보한다.

제안 방법

• 파라미터의 $\ell_1$-노름 희박성 정규화와 잔차 및 설계 오차 항목의 $\ell_\infty$-노름 제약을 조합한 새로운 추정기를 제안한다.
• 파라미터 및 잔차 벡터에 대해 $\ell_1$, $\ell_2$, $\ell_\infty$-노름 제약을 포함하는 타당한 집합을 정의한 최적화 문제를 도입한다.
• 설계 행렬과 오차 항목의 $\ell_\infty$-노름을 제어함으로써 추정 오차에 대한 경계를 도출하기 위해 이중 접근법을 사용한다.
• 이전 방법들과 달리 정확한 값이 필요하지 않은 오차 분산 $\sigma_j^2$의 초기 추정기를 통합한다.
• 랜덤 행렬의 $\ell_\infty$-노름에 대한 농도 부등식과 체이닝 추론을 사용하여 추정 오차에 대한 고확률 경계를 수립한다.
• 최적화 문제에 대해 $\ell_1$, $\ell_2$, $\ell_\infty$-노름을 포함하는 파라미터 및 잔차 벡터의 제약 조건을 만족하는 타당한 집합을 정의한다.

실험 결과

연구 질문

• RQ1 공동 $\ell_1$, $\ell_2$, $\ell_\infty$-정규화 프레임워크가 고차원 오차가 있는 변수 모델에서 추정 안정성을 향상시킬 수 있는가?
• RQ2 설계 오차가 균일하게 유계가 아니며 오차 분산 추정치의 정확도가 낮을 경우, 달성 가능한 최적의 수렴 속도는 무엇인가?
• RQ3 $\ell_\infty$-노름 정규화의 포함이 표준 $\ell_1$-기반 방법에 비해 추정기의 강건성에 어떤 영향을 미치는가?
• RQ4 오차 분산이 알려져 있거나 정확하게 추정되지 않더라도 제안된 추정기는 최적의 수렴 속도를 달성할 수 있는가?
• RQ5 고차원 설정에서 $\ell_\infty$-노름 정규화의 강도와 그로 인한 추정 오차 사이의 이론적 트레이드오프는 무엇인가?

주요 결과

• 제안된 추정기는 $1 \leq q \leq \infty$ 에 대해 $\ell_q$-노름에서 수렴 속도 $O(s^{1/q}\sqrt{\log p / n})$ 를 달성하며, 문헌에서 알려진 최고의 속도와 일치한다.
• 오차 분산 추정치가 정확하지 않더라도 설계 오차가 균일하게 유계가 아니더라도 추정기가 일致함을 입증하였다.
• $\ell_\infty$-노름 정규화는 오차 분포에 대한 강력한 가정 없이도 측정 오차에서 오는 최악의 편향을 제어할 수 있도록 한다.
• 이전 방법들이 정확한 분산 추정치에 크게 의존하는 데 반해, 본 방법은 오차 분산 추정기의 일致성이 필요 없이도 최적의 수렴 속도를 달성한다.
• 이론적 경계는 $\ell_\infty$-노름 정규화가 무거운 尾를 지닌 또는 상관이 있는 측정 오차가 추정 성능에 미치는 영향을 줄임을 보여준다.
• 분석을 통해 오차의 2차 모멘트가 유한하고 설계 행렬에서 약한 의존성이 존재할 경우에도 추정기가 강건함을 입증하였다.