[논문 리뷰] Pivotal Estimation via Self-Normalization for High-Dimensional Linear Models with Error in Variables

Alexandre Belloni, Abhishek Kaul외 1명|arXiv (Cornell University)|2017. 08. 28.

Statistical Methods and Inference참고 문헌 28인용 수 15

한 줄 요약

이 논문은 예측 변수의 수가 표본 크기보다 큰 고차원 선형 모형에서 측정 오차가 존재하는 경우에 핵심적인 추정 방법을 제안한다. 추정 제약 조건에 자기정규화(self-normalization)를 적용함으로써, 알려지지 않은 잡음 수준에 의존하는 튜닝 파rameter가 필요 없어지며, 이는 제2차원 원형 프로그래밍을 통한 신뢰할 수 있는 계산과 희박성 가정 하에서 최적의 $\beta$ 수렴 속도를 달성하게 한다.

ABSTRACT

We propose a new estimator for the high-dimensional linear regression model with observation error in the design where the number of coefficients is potentially larger than the sample size. The main novelty of our procedure is that the choice of penalty parameters is pivotal. The estimator is based on applying a self-normalization to the constraints that characterize the estimator. Importantly, we show how to cast the computation of the estimator as the solution of a convex program with second order cone constraints. This allows the use of algorithms with theoretical guarantees and reliable implementation. Under sparsity assumptions, we derive $\ell_q$-rates of convergence and show that consistency can be achieved even if the number of regressors exceeds the sample size. We further provide a simple to implement rule to threshold the estimator that yields a provably sparse estimator with similar $\ell_2$ and $\ell_1$-rates of convergence. The thresholds are data-driven and component dependents. Finally, we also study the rates of convergence of estimators that refit the data based on a selected support with possible model selection mistakes. In addition to our finite sample theoretical results that allow for non-i.i.d. data, we also present simulations to compare the performance of the proposed estimators.

연구 동기 및 목표

• 예측 변수가 측정 오차를 포함하고 있으며, 예측 변수의 수 $p$가 표본 크기 $n$을 초과하는 고차원 선형 모형을 다루는 것.
• 튜닝 파rameter가 알려지지 않은 잡음 분산이나 $\beta_0$-노름에 의존하지 않는 추정량을 개발하는 것—즉, 모형에 특화된 튜닝 지식에 의존하지 않도록 하는 것.
• 제2차원 원형 제약 조건을 가진 볼록 프로그래밍으로 변환함으로써 계산의 신뢰성을 확보하는 것.
• 희박성 조건 하에서 $\beta_q$-노름 수렴 속도를 도출하고, $p \gg n$일 때조차 일관성을 보장하며, 증명 가능한 희박한 지지 집합을 갖는 임계값 처리된 추정량을 구성하는 것.
• 모형 선택 실수의 영향을 재적합 추정량의 성능에 미치는 영향을 분석하고, 비독립 동일분포가 아닌 설계 하에서도 유한 표본 보장을 제공하는 것.

제안 방법

• 해결책을 정의하는 제약 조건에 자기정규화를 적용함으로써 추정량을 구성하며, 이는 제2차원 원형 제약 조건을 가진 볼록 프로그래밍으로 변환된다.
• 자기정규화 절차는 튜닝 파rameter를 핵심적으로 만들며, 알려지지 않은 잡음 분산이나 $\beta_0$-노름에 대한 의존성을 제거한다.
• 측정 오차 공분산 행렬 $\Gamma$ 를 위한 데이터 기반 추정량 $\hat{\Gamma}$ 를 활용하며, 보조 데이터가 가용하거나 누락된 값이 무작위인 가정 하에서 응용 가능하다.
• 희박성을 강제하기 위해 추정량의 임계값 처리된 버전을 제안하며, 성분별로 독립적인 데이터 기반 임계값을 사용하여 최적의 $\ell_2$ 및 $\ell_1$ 수렴 속도를 유지한다.
• 이론적 분석은 하위가우시안 농도 및 최대부등식을 사용한 확률적 오차 항목에 대한 고확률 경계에 기반한다.
• 일반적인 설계 가정 하에서, 비독립 동일분포가 아닌 데이터를 포함하여, 표본 수가 유한할 경우의 결과를 도출하며, 다양한 추정량 성능을 비교하는 시뮬레이션으로 뒷받침된다.

실험 결과

연구 질문

• RQ1 측정 오차가 존재하는 고차원 선형 모형에서, 진짜 계수 벡터의 잡음 분산이나 $\ell_2$-노름에 대한 지식이 없이도 추정이 가능한가?
• RQ2 튜닝 파rameter를 알려지지 않은 모형 파rameter에 의존하지 않게 하면서도 최적의 수렴 속도를 유지할 수 있는가?
• RQ3 측정 오차 존재 하에서 모형 선택 실수는 재적합 추정량의 성능에 어떤 영향을 미치는가?
• RQ4 $p \gg n$일 경우에도, 이론적 보장을 갖는 볼록 최적화를 통해 효율적으로 추정량을 계산할 수 있는가?
• RQ5 비독립 동일분포가 아닌 설계 하에서 하위가우시안 오차 구조를 갖는 추정량의 유한 표본 수렴 속도는 무엇인가?

주요 결과

• 제안된 추정량은 $\ell_q$-수렴 속도를 순서 $s^{1/q}\sqrt{\log p / n}$로 달성하며, 측정 오차가 존재하는 고차원 모형의 최소최대 최적 속도와 일치한다.
• 튜닝 파arameter는 핵심적이다—$\sigma_\xi^2$, $\sigma_w^2$, 또는 $\|\beta_0\|_2$ 의 지식이 필요하지 않으며, 이는 강건하고 자동화된 구현을 가능하게 한다.
• 이 추정량은 제2차원 원형 제약 조건을 가진 볼록 프로그래밍의 해로 계산될 수 있으며, 이는 알고리즘적 신뢰성과 수렴 보장을 보장한다.
• 임계값 처리된 변형 추정량은 동일한 $\ell_2$ 및 $\ell_1$ 수렴 속도를 갖는 희박한 해를 제공하며, 성분별로 독립적인 데이터 기반 임계값을 사용한다.
• 이론적 결과는 비독립 동일분포가 아닌 설계, 특히 누락된 값이 무작위인 설정에서도 성립하여, 독립 동일분포 가정을 초월한 적용 가능성을 넓힌다.
• 시뮬레이션 결과는 추정량의 뛰어난 유한 표본 성능을 확인하며, 특히 알려지지 않은 잡음 파aram터에 기반한 튜닝이 필요한 기법들과의 비교에서 뚜렷한 우수성을 보여준다.