[논문 리뷰] Learning Heteroscedastic Models by Convex Programming under Group Sparsity

Arnak S. Dalalyan, Mohamed Hebiri외 2명|arXiv (Cornell University)|2013. 04. 16.

Statistical Methods and Inference참고 문헌 35인용 수 12

한 줄 요약

이 논문은 고차원 이분산 회귀에서 조건부 평균과 분산을 동시 추정하기 위한 볼록 최적화 방법인 스케일드 헤테로스케딕 딘츠 기준선(ScHeDs)을 제안한다. 문제는 제2형 타원 프로그래밍(SOCP)으로 공식화되어 있어, 잡음 분산에 대한 사전 지식이 없거나 이방성 가정을 하지 않더라도 효율적인 계산과 비점근적 리스크 경계를 보장한다.

ABSTRACT

Popular sparse estimation methods based on $\ell_1$-relaxation, such as the Lasso and the Dantzig selector, require the knowledge of the variance of the noise in order to properly tune the regularization parameter. This constitutes a major obstacle in applying these methods in several frameworks---such as time series, random fields, inverse problems---for which the noise is rarely homoscedastic and its level is hard to know in advance. In this paper, we propose a new approach to the joint estimation of the conditional mean and the conditional variance in a high-dimensional (auto-) regression setting. An attractive feature of the proposed estimator is that it is efficiently computable even for very large scale problems by solving a second-order cone program (SOCP). We present theoretical analysis and numerical results assessing the performance of the proposed procedure.

연구 동기 및 목표

• 기존의 스파스 방법(예: Lasso, Dantzig 기준선)이 잡음 분산을 사전에 알고 있어야 하는 문제를 해결한다.
• 기존의 그룹 스파스 방법이 이방성 또는 잡음 수준에 대한 사전 지식을 가정하는 한계를 극복한다.
• 그룹 스파스 조건 하에 조건부 평균과 분산 함수를 동시에 추정하는 통합된 볼록 최적화 프레임워크를 개발한다.
• 제안된 추정기의 비점근적 이론적 리스크 경계를 제공하여 유한 표본 성능 보장을 확보한다.
• 반복적 보정이나 비볼록 최적화 없이 제2형 타원 프로그래밍(SOCP)을 통해 대규모 문제에 대한 효율적인 계산을 가능하게 한다.

제안 방법

• 조건부 평균 $\mathbf{b}^*$와 분산 $\mathbf{s}^{*2}$의 동시 추정을 제2형 타원 프로그래밍(SOCP)으로 공식화하여 볼록성과 해법 가능성 보장.
• 역분산 $1/\mathbf{s}^*$에 대한 매개변수 구조를 도입하여, 저차원 선형 공간 내에 존재한다고 가정함으로써 최적화 과정에서 그룹 스파스성 유도.
• 잔차 벡터에 Dantzig 유형 제약 조건을 적용하여, 설계 행렬과 잔차 간의 최대 상관관계가 튜닝 파rameter 이내로 제한되도록 설정.
• 모델링 내에서 분산 함수를 직접 추정함으로써 알려지지 않은 잡음 수준에 적응하는 스케일링 형식을 도입.
• $\boldsymbol{\alpha}^*$와 $\boldsymbol{\phi}^*$를 활용한 재매개변수화를 통해 평균과 분산 추정을 분리하면서도 볼록성을 유지.
• 치제곱 및 가우시안 변수의 尾함수 경계를 활용한 농도 불등식과 스펙트럼 노름 제어를 통해 비점근적 리스크 경계 유도.

실험 결과

연구 질문

• RQ1 잡음 분산에 대한 사전 지식이 없이도 고차원 이분산 회귀에서 조건부 평균과 분산을 동시에 추정할 수 있는 볼록 최적화 프레임워크는 존재하는가?
• RQ2 제안된 방법은 그룹 스파스성과 이분산성 조건 하에서도 통계적 일致성과 비점근적 리스크 경계를 유지하는가?
• RQ3 제2형 타원 프로그래밍을 통해 대규모 문제에 대해 조건부 평균-분산 추정을 효율적으로 계산할 수 있는가?
• RQ4 통계적 성능 및 계산 효율성 측면에서 반복적 비볼록 대안과 비교해 볼 때 어떻게 성능을 내는가?
• RQ5 제안된 SOCP 공식화 하에서 평균 및 분산 추정기의 이론적 유한 표본 리스크 경계는 무엇인가?

주요 결과

• 제안된 ScHeDs 추정기는 제2형 타원 프로그래밍(SOCP)을 통해 효율적으로 계산 가능하여 대규모 응용에 적합하다.
• 평균 및 분산 추정 모두 비점근적 리스크 경계를 확보하며, 오차는 높은 확률로 $\mathcal{O}(\sqrt{q \widehat{D}_1 \log(2T/\varepsilon) \log(2q/\varepsilon)})$ 비례한다.
• 잡음 분산에 대한 사전 지식이 필요 없어 시간적 시계열, 영상 처리 등 다양한 이분산 설정에 적합하다.
• 이론적 분석 결과, 잔차 투영의 스펙트럼 노름을 제어함으로써 모형 잘못 지정 시에도 안정성이 확보됨.
• 수치 실험을 통해 제안 방법이 표본 수가 유한한 경우에도 강건하고 정확하며, 반복적 비볼록 대안보다 속도와 통계적 성능 모두에서 뛰어나다.
• 기저 함수의 선형 조합으로 $1/\mathbf{s}^*$를 모델링함으로써 분산 추정에서 그룹 스파스성을 달성하여 이분산성의 구조적 학습 가능.