[논문 리뷰] Alternating Estimation for Structured High-Dimensional Multi-Response Models

Sheng Chen, Arindam Banerjee|arXiv (Cornell University)|2016. 06. 29.

Statistical Methods and Inference참고 문헌 38인용 수 3

한 줄 요약

이 논문은 구조적 파rameter를 가진 고차원 다중응답 선형 모델에 대해 일반화된 Dantzig 선택자와 경험적 잡음 공분산 추정을 활용하여 고차원 다중응답 모델의 구조적 파라미터를 위한 교대 추정(AltEst) 절차를 제안한다. 이는 일반적인 파라미터 구조 하에서 기하적 측도(예: 가우시안 폭)에 의해 결정되는 최소 수준으로 추정 오차의 선형 수렴을 보여주는 최초의 비점근 통계적 보장을 수립한다.

ABSTRACT

We consider learning high-dimensional multi-response linear models with structured parameters. By exploiting the noise correlations among responses, we propose an alternating estimation (AltEst) procedure to estimate the model parameters based on the generalized Dantzig selector. Under suitable sample size and resampling assumptions, we show that the error of the estimates generated by AltEst, with high probability, converges linearly to certain minimum achievable level, which can be tersely expressed by a few geometric measures, such as Gaussian width of sets related to the parameter structure. To the best of our knowledge, this is the first non-asymptotic statistical guarantee for such AltEst-type algorithm applied to estimation problem with general structures.

연구 동기 및 목표

• 상관 잡음이 존재하는 구조적 고차원 다중응답 모델을 추정하기 위한 점근적이지 않은 통계적 프레임워크를 개발한다.
• 기존의 교대 최소화 알고리즘들이 구조적 파라미터 추정에 대해 유한 표본 보장을 제공하지 못하는 문제를 해결한다.
• 비정규화된 희소성 또는 낮은 질서 모델을 넘어서 일반적인 파라미터 구조로 교대 추정의 적용 가능성을 확장한다.
• 일반적인 노름 기반 구조(예: 겹침 희소성, 계층적 희소성 포함) 하에서 AltEst에 대한 이론적 수렴 보장을 제공한다.
• 공동 볼록성 가정을 피하면서도 강력한 통계 성능를 유지하면서 기존 접근법을 통합하고 일반화한다.

제안 방법

• AltEst 알고리즘은 일반화된 Dantzig 선택자(GDS)를 사용하여 계수 벡터 θ*를 추정하고, 경험적 추정을 통해 잡음 공분산 Σ*를 갱신하는 방식으로 교대로 수행된다.
• 이 방법은 공동 볼록 최적화 목표가 필요로 하지 않아 표준 교대 최소화(AltMin)보다 더 일반적인 형태를 가진다.
• 희소성, 그룹 희소성, 또는 k-지원 노름과 같은 낮은 복잡도의 구조를 포착하기 위해 노름 기반 정규화를 사용한다.
• 이론적 분석은 가우시안 폭과 제한된 노름 호환성과 같은 기하 측도를 활용하여 추정 오차를 경계한다.
• 집중 불등식과 행렬의 분산 결과를 반복 적용하여 수렴성을 확립한다.
• 알고리즘은 항등 잡음 공분산으로 초기화되며, 표본 크기와 재표본 추정 가정 하에 θ*와 Σ*를 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 구조적 파라미터를 가진 고차원 다중응답 모델에서 교대 추정이 통계적으로 최적 수준으로 엄밀히 수렴할 수 있는가?
• RQ2 잡음 상관관계를 활용할 때 AltEst의 비점근 오차율은 어떻게 되는가?
• RQ3 추정 오차는 가우시안 폭이나 제한 호환성과 같은 파라미터 구조의 기하적 성질에 어떻게 의존하는가?
• RQ4 어떤 표본 크기 조건에서 AltEst가 최소 오차 수준으로 선형 수렴을 달성하는가?
• RQ5 비정규화된 희소성 또는 낮은 질서 모델을 넘어서 일반적인 파라미터 구조로 이 프레임워크를 확장할 수 있는가?

주요 결과

• 적절한 표본 크기와 재표본 추정 가정 하에 AltEst의 추정 오차는 고확률적으로 최소 달성 가능한 수준으로 선형 수렴한다.
• 수렴 속도는 파라미터 구조와 관련된 집합의 가우시안 폭과 같은 기하 측도로 특징지어진다.
• 이전에 다루지 못했던 겹침 희소성과 계층적 희소성 포함 일반적인 구조적 모델에 대해 비점근 통계적 보장을 달성한다.
• 알고리즘은 각 반복에서 오차가 잡음 공분산과 파라미터 구조를 포함한 수축 인자에 의해 경계됨을 보장하여 선형 수렴을 이룬다.
• 분석을 통해 수렴을 위한 표본 크기 조건이 Σ*의 최대 및 최소 고유값의 비율, 파라미터 노름, 모델의 기하적 복잡도에 의존함을 규명하였다.
• 이 프레임워크는 구조적 고차원 다중응답 모델에서 교대 추정에 대해 이러한 유한 표본 보장을 제공하는 최초의 사례이다.