[논문 리뷰] Linear and Conic Programming Estimators in High-Dimensional Errors-in-variables Models

Alexandre Belloni, Mathieu Rosenbaum외 1명|arXiv (Cornell University)|2014. 01. 01.

Statistical Methods and Inference참고 문헌 26인용 수 64

한 줄 요약

이 논문은 독립적 동일분포로 관측되는 노이즈가 첨가된 고차원 오차항이 있는 변수 모델에 대해 보정된 행렬 불확실성(MU) 선택기를 제안한다. 데이터 기반의 노이즈 분산 추정을 두 번째 순서 원 프ogramming(SOCP) 설정에 통합함으로써, 희박성 조건 하에서 최소최대 최적 수렴 속도를 달성하여 측정 오차가 존재하는 상황에서도 신뢰할 수 있는 고차원 추론을 가능하게 한다.

ABSTRACT

We consider the linear regression model with observation error in the design. In this setting, we allow the number of covariates to be much larger than the sample size. Several new estimation methods have been recently introduced for this model. Indeed, the standard Lasso estimator or Dantzig selector turn out to become unreliable when only noisy regressors are available, which is quite common in practice. We show in this work that under suitable sparsity assumptions, the procedure introduced in Rosenbaum and Tsybakov (2013) is almost optimal in a minimax sense and, despite non-convexities, can be efficiently computed by a single linear programming problem. Furthermore, we provide an estimator attaining the minimax efficiency bound. This estimator is written as a second order cone programming minimisation problem which can be solved numerically in polynomial time.

연구 동기 및 목표

• 측정 오차로 인해 표준 Lasso와 Dantzig 선택기가 고차원 오차항이 있는 변수 모델에서 실패하는 문제를 해결한다.
• 희박성 조건 하에서 코Variates 수 $ p $ 가 표본 크기 $ n $ 를 초과할 경우에도 일致하고 효율적인 추정 절차를 개발한다.
• 노이즈가 있는 설계 행렬로 인해 발생하는 편향을 보정하기 위해 추정된 노이즈 분산 $ \hat{\sigma}_j^2 $ 를 추정 프레임워크에 통합한다.
• 희박성 가정 하에서 제안된 추정기의 최소최대 최적성을 확립하고, $ \ell_q $-노름에서 최적 수렴 속도를 달성한다.
• 두 번째 순서 원 프로그래밍(SOCP)을 통해 효율적인 계산을 보장함으로써 다항시간 내에 해를 구할 수 있도록 한다.

제안 방법

• 두 번째 순서 원 프로그래밍의 해로 정의된 보정된 MU 선택기를 제안한다: $ \min |\theta|_1 $ 이며 제약 조건은 $ \left| \frac{1}{n}Z^T(y - Z\theta) + \widehat{D}\theta \right|_\infty \leq \mu|\theta|_1 + \tau $, 여기서 $ \widehat{D} $ 는 추정된 노이즈 분산의 대각행렬이다.
• 모델에 누락 데이터 또는 반복 측정이 존재할 경우 적용 가능한 데이터 기반 추정기 $ \widehat{\sigma}_j^2 $ 를 노이즈 분산 $ \sigma_j^2 = \frac{1}{n}\sum_i \mathbb{E}[W_{ij}^2] $ 에 대해 사용한다.
• 측정 오차로 인한 $ Z^T Z / n $ 의 편향을 보정하기 위해 잔차 항에 $ \widehat{D}\theta $ 를 추가한다.
• 추정기를 두 번째 순서 원 프로그래밍(SOCP)으로 설정함으로써 다항시간 내에 효율적인 수치적 해를 확보한다.
• 일반화된 Fano의 보조정리와 제어된 간격을 가지는 큰 가설 집합을 구성한 비점근적 분석을 통해 최소최대 최적성을 입증한다.
• Kullback-Leibler 발산과 고유값 한계를 사용하여 가설 간 간격을 제어하고 추정 오차의 하한을 유도한다.

실험 결과

연구 질문

• RQ1 설계 행렬에서 측정 오차가 존재하는 상황에서도 고차원 추정기가 최소최대 최적성을 유지할 수 있는가?
• RQ2 측정 오차가 있는 코Variates의 노이즈 분산을 어떻게 추정하고 보정할 수 있으며, 이로 인해 추정 정확도가 향상되는가?
• RQ3 오차항이 있는 희박한 고차원 모델에서 $ \ell_q $-노름에서 최소최대 최적 수렴 속도를 달성할 수 있는가?
• RQ4 결과로 도출된 추정기는 볼록 최적화 기법을 통해 효율적으로 계산할 수 있는가?
• RQ5 이 모델에서 추정 정확도의 기본 한계는 무엇이며, 제안된 방법이 이를 달성할 수 있는가?

주요 결과

• 제안된 보정된 MU 선택기는 $ \ell_q $-노름에서 최소최대 최적 수렴 속도를 달성한다: 고려 확률로 $ |\hat{\theta}^C - \theta^*|_q \leq C s^{1/q} \sqrt{\frac{\log p}{n}} (|\theta^*|_1 + 1) $.
• 추정기는 두 번째 순서 원 프로그래밍(SOCP)으로 설정되어 있어 다항시간 내에 해를 구할 수 있어 계산 효율성이 보장된다.
• 데이터 기반의 $ \sigma_j^2 $ 추정치를 사용해 $ Z^T Z / n $ 의 편향을 보정함으로써 최소최대 최적성을 달성한다. 이는 누락 데이터 또는 반복 측정이 존재하는 모델에서도 실현 가능하다.
• 하한 분석을 통해 추정기의 수렴 속도가 이론적 최소최대 하한과 일치함을 확인하여 최적성의 성립을 입증한다.
• 제어된 간격과 KL 발산을 가지는 큰 가설 집합의 구성은 어떤 추정제도 주어진 희박성 및 노이즈 가정 하에서 더 빠른 수렴 속도를 달성할 수 없음을 보장한다.
• 원래의 MU 선택기와 달리, 노이즈 수준이 높은 경우에도 이 방법은 효과적으로 유지되며, 노이즈가 작지 않은 한 실패하지 않는다.