[논문 리뷰] High-dimensional regression with noisy and missing data: Provable guarantees with nonconvexity

Po‐Ling Loh, Martin J. Wainwright|ScholarlyCommons (University of Pennsylvania)|2011. 09. 16.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 51

한 줄 요약

이 논문은 노이즈, 누락 또는 종속성이 있는 데이터 하에서 고차원 희소 선형 회귀를 위한 비볼록 최적화 프레임워크를 제안한다. 사영된 경사 하강법을 사용하여 통계적 정밀도를 달성한다. 비볼록 목적 함수일지라도 알고리즘이 글로벌 최적해의 이웃으로 기하급수적으로 수렴하고, 오차 한계가 최소화율과 일치함을 증명한다.

ABSTRACT

Although the standard formulations of prediction problems involve fully-observed and noiseless data drawn in an i.i.d. manner, many applications involve noisy and/or missing data, possibly involving dependence, as well. We study these issues in the context of high-dimensional sparse linear regression, and propose novel estimators for the cases of noisy, missing and/or dependent data. Many standard approaches to noisy or missing data, such as those using the EM algorithm, lead to optimization problems that are inherently nonconvex, and it is difficult to establish theoretical guarantees on practical algorithms. While our approach also involves optimizing nonconvex programs, we are able to both analyze the statistical error associated with any global optimum, and more surprisingly, to prove that a simple algorithm based on projected gradient descent will converge in polynomial time to a small neighborhood of the set of all global minimizers. On the statistical side, we provide nonasymptotic bounds that hold with high probability for the cases of noisy, missing and/or dependent data. On the computational side, we prove that under the same types of conditions required for statistical consistency, the projected gradient descent algorithm is guaranteed to converge at a geometric rate to a near-global minimizer. We illustrate these theoretical predictions with simulations, showing close agreement with the predicted scalings.

연구 동기 및 목표

• 설명변수에 노이즈, 누락 또는 종속성이 있을 때 고차원 희소 선형 회귀 문제를 다루는 것.
• 이러한 데이터 문제 상황에서도 고전적인 최소화율에 맞는 통계적 일致성을 유지하는 추정기 개발.
• 비볼록성에도 불구하고 최적화 알고리즘의 증명 가능한 수렴 보장을 제공하는 것.
• 누락 데이터가 있는 상황에서 희소 가우시안 그래픽 모델 선택으로 프레임워크를 확장하는 것.
• 서브가우시안 또는 약한 종속성 있는 데이터 가정 하에서도 이론적 보장을 유지하는 것.

제안 방법

• 손상된 설명변수를 가진 고차원 회귀에 대해 $\beta$-제약 조건이 붙은 $\ell_1$-정규화 M-추정기 수식화.
• 비볼록 목적 함수를 최적화하기 위해 사영된 경사 하강법을 사용하며, 근사 글로벌 최소화점으로의 수렴 보장.
• 통계 오차와 최적화 오차 분해를 융합한 새로운 분석을 통해 오차 한계 확립.
• 서브가우시안 또는 약한 종속성 있는 설계 하에서 손실 함수의 제한된 강한 볼록성 및 미분 가능성 성질 활용.
• 누락 데이터 상황을 다루기 위해 가능도를 모델링하고 손실 함수 내에서 누락성 보정.
• 통계 일치성 보장 조건과 동시에 기하급수적 수렴이 보장되는 조건 하에서 알고리즘이 수렴함을 증명.

실험 결과

연구 질문

• RQ1 노이즈 또는 누락 데이터가 있는 상황에서 고차원 회귀에 대한 비볼록 최적화 방법이 통계적 정밀도를 유지할 수 있는가?
• RQ2 비볼록 목적 함수일 경우 사영된 경사 하강법이 글로벌 최적해의 통계 정밀도 이내의 해로 수렴하는가?
• RQ3 설계 행렬에 대한 어떤 조건이 통계 일치성과 최적화 알고리즘의 빠른 수렴을 동시에 보장하는가?
• RQ4 제안된 방법이 손상되거나 누락된 설명변수를 가진 회귀에서 최소화율 최적 오차율을 달성할 수 있는가?
• RQ5 이 방법은 누락 데이터 하에서 고차원 그래픽 모델 선택으로 어떻게 확장될 수 있는가?

주요 결과

• 사영된 경사 하강법은 통계 오차에 따라 의존하는 속도로 글로벌 최소화점의 이웃으로 기하급수적으로 수렴한다.
• 독립적 동일분포 서브가우시안 설계 하에서 추정기의 통계 오차는 i.i.d. 서브가우시안 설계의 최소화율과 일치한다. 노이즈 또는 누락 데이터가 있어도 동일하다.
• 누락 데이터가 있는 고차원 희소 선형 회귀에서, 이 방법은 고확률적으로 $\ell_2$-오차를 $\mathcal{O}(\sqrt{k \log p / n})$ 수준으로 달성한다.
• 통계 일치성 보장 조건과 동일한 조건 하에서 알고리즘이 다항 시간 내에 수렴함이 보장된다.
• 이 프레임워크는 누락 데이터가 있는 희소 가우시안 그래픽 모델 선택으로 확장되며, 스펙트럼 노름 오차율이 i.i.d. 데이터의 경우와 동일하게 달성된다.
• 복합 내성 파rameter $\varepsilon^2$ 는 $\mathcal{O}(\|\widehat{\beta} - \beta^*\|_2^2)$ 로 유계이며, 이는 통계 정밀도 수렴을 보장한다.