[논문 리뷰] CoCoLasso for High-dimensional Error-in-variables Regression

Abhirup Datta, Hui Zou|arXiv (Cornell University)|2015. 10. 24.

Statistical Methods and Inference참고 문헌 23인용 수 6

한 줄 요약

이 논문은 고차원 오차가 있는 변수 회귀 문제를 위한 볼록 최적화 방법인 CoCoLasso를 제안한다. 이 방법은 설계 행렬과 반응 벡터에 대한 편향 없는 대체 변수를 구성함으로써 덧셈 측정 오차와 누락 데이터를 처리한다. 추정 오차 경계와 부호 일致성 선택을 확립하고, 측정 오차로 인한 편향을 줄이기 위해 교정된 교차검증 기법을 도입하여 시뮬레이션에서 비볼록 대안들보다 뛰어난 성능을 보였다.

ABSTRACT

Much theoretical and applied work has been devoted to high-dimensional regression with clean data. However, we often face corrupted data in many applications where missing data and measurement errors cannot be ignored. Loh and Wainwright (2012) proposed a non-convex modification of the Lasso for doing high-dimensional regression with noisy and missing data. It is generally agreed that the virtues of convexity contribute fundamentally the success and popularity of the Lasso. In light of this, we propose a new method named CoCoLasso that is convex and can handle a general class of corrupted datasets including the cases of additive measurement error and random missing data. We establish the estimation error bounds of CoCoLasso and its asymptotic sign-consistent selection property. We further elucidate how the standard cross validation techniques can be misleading in presence of measurement error and develop a novel corrected cross-validation technique by using the basic idea in CoCoLasso. The corrected cross-validation has its own importance. We demonstrate the superior performance of our method over the non-convex approach by simulation studies.

연구 동기 및 목표

• 측정 오차 또는 누락 값으로 인해 손상된 고차원 데이터에 표준 Lasso를 적용할 때 발생하는 한계를 해결하기 위해.
• Lasso의 유용한 성질을 유지하면서 데이터 손상에 강건한 볼록 방법을 개발하기 위해.
• 고차원 설정에서 측정 오차로 인해 발생하는 표준 교차검증의 편향을 수정하기 위해.
• 제안된 방법에 대해 추정 오차 경계와 부호 일치 선택과 같은 이론적 보장을 확립하기 위해.
• 시뮬레이션을 통해 CoCoLasso가 Loh와 Wainwright의 방법과 같은 비볼록 대안들보다 추정 정확도와 변수 선택에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• CoCoLasso는 진짜 $X^\top X$와 $X^\top y$ 대신 $\widehat{\Sigma} = \frac{1}{n}Z^\top Z - \tau^2 I$와 $\tilde{\rho} = \frac{1}{n}Z^\top y$를 사용하여 Lasso 목표 함수에 통합한다. 여기서 $Z$는 오염된 설계 행렬이고 $\tau^2$는 알려진 오차 분산이다.
• 이 방법은 볼록 최적화 문제로 공식화된다: $\min \frac{1}{2}\beta^\top \widehat{\Sigma}\beta - \tilde{\rho}^\top \beta + \lambda \|\beta\|_1$로, 볼록성과 전역 최적성을 보장한다.
• 이 알고리즘은 $A_{i+1}$, $B_{i+1}$, $\Lambda_{i+1}$에 대한 교대 갱신을 사용하는 ADMM 기반 알고리즘으로, 희박성 강제를 위해 임계값 연산자를 사용한다.
• 이 알고리즘은 $\epsilon$-정규화된 투영 $A_{i+1} = (B_i + \widehat{\Sigma} + \mu\Lambda_i)_\epsilon$를 통해 양의 정부호 제약 조건을 통합함으로써 볼록성을 유지한다.
• 측정 오차 모델을 검증 과정에 통합함으로써, 난이도 높은 교차검증 기법을 새로이 개발하여, 단순한 CV가 유도하는 오해를 피한다.
• 이론적 분석은 서브가우시안 오차를 가정하고, 농도 부등식을 사용하여 추정 오차와 선택 일致성에 대한 고확률 경계를 유도한다.

실험 결과

연구 질문

• RQ1 측정 오차와 누락 데이터 하에서 고차원 회귀에 대해 Lasso의 통계적 및 계산적 이점을 유지하면서도 볼록 공식화를 개발할 수 있는가?
• RQ2 덧셈 측정 오차 하에서 표본 크기, 차원 수, 노이즈 수준에 따라 CoCoLasso의 추정 오차는 어떻게 변화하는가?
• RQ3 설계 행렬이 오염된 상태에서도 고차원 점점 증가하는 설정 하에서 CoCoLasso는 부호 일치 선택을 달성하는가?
• RQ4 측정 오차가 존재할 경우 표준 교차검증은 어떻게 실패하는가? 그리고 CoCoLasso 프레임워크를 사용하여 교정된 버전을 구성할 수 있는가?
• RQ5 유한 표본에서 CoCoLasso의 경험적 성능은 Loh와 Wainwright의 방법과 같은 비볼록 대안들보다 어떻게 되는가?

주요 결과

• 서브가우시안 노이즈와 알려진 측정 오차 분산 하에서 CoCoLasso는 비점근 추정 오차 경계 $O(\sqrt{s \log p / n})$를 달성한다.
• 이 방법은 높은 확률로 부호 일치 선택을 보장한다. 즉, 고차원 설정에서 비영인 계수의 부호를 정확히 식별한다.
• CoCoLasso 프레임워크에서 유도된 교정된 교차검증은 표준 CV와 달리 측정 오차로 인한 과적합과 선택 편향을 방지한다.
• 시뮬레이션 연구에서 CoCoLasso는 고노이즈 및 누락 데이터 상황에서 Loh-Wainwright의 비볼록 방법보다 추정 정확도와 변수 선택 모두에서 뛰어난 성능을 보였다.
• CoCoLasso를 위한 ADMM 기반 알고리즘은 신뢰성 있게 수렴하고 볼록성을 유지하며, 이전의 비볼록 접근법에서 발생하는 비볼록성 및 무한대 문제를 피한다.
• 이론적 결과는 일반적인 서브가우시안 오차 가정 하에서도 성립하며, 농도 부등식을 사용하여 대체 통계량이 진짜 값에서 벗어나지 않는 범위를 유도한다.