[논문 리뷰] Optimal estimation of Gaussian mixtures via denoised method of moments

Yihong Wu, Pengkun Yang|arXiv (Cornell University)|2018. 07. 19.

Statistical Distribution Estimation and Applications참고 문헌 76인용 수 13

한 줄 요약

이 논문은 공통 분산을 가진 k-성분 가우시안 위치 혼합 모형의 최적 추정을 위해, 이차형 프ogramming(SDP)을 사용하여 모멘트 추정치를 잘라낸 모멘트 공간에 투영함으로써, 해의 존재성과 유일성을 보장하는 노이즈 제거된 방법의 모멘트를 제안한다. 이 접근법은 워샤르 거리 기반의 새로운 모멘트 비교 정리들을 통해 적응형 최소자승 최적 속도와 오ракル 부등식을 달성하며, 볼록성 가정 없이도 일반화된 방법의 모멘트에 대한 증명 가능한 보장을 제공한다.

ABSTRACT

The Method of Moments [Pea94] is one of the most widely used methods in statistics for parameter estimation, by means of solving the system of equations that match the population and estimated moments. However, in practice and especially for the important case of mixture models, one frequently needs to contend with the difficulties of non-existence or non-uniqueness of statistically meaningful solutions, as well as the high computational cost of solving large polynomial systems. Moreover, theoretical analysis of the method of moments are mainly confined to asymptotic normality style of results established under strong assumptions. This paper considers estimating a $k$-component Gaussian location mixture with a common (possibly unknown) variance parameter. To overcome the aforementioned theoretic and algorithmic hurdles, a crucial step is to denoise the moment estimates by projecting to the truncated moment space (via semidefinite programming) before solving the method of moments equations. Not only does this regularization ensures existence and uniqueness of solutions, it also yields fast solvers by means of Gauss quadrature. Furthermore, by proving new moment comparison theorems in the Wasserstein distance via polynomial interpolation and majorization techniques, we establish the statistical guarantees and adaptive optimality of the proposed procedure, as well as oracle inequality in misspecified models. These results can also be viewed as provable algorithms for Generalized Method of Moments [Han82] which involves non-convex optimization and lacks theoretical guarantees.

연구 동기 및 목표

• 기존의 방법의 모멘트가 가우시안 혼합 모형에서 이론적 보장과 수치적 불안정성의 부족을 해결하기 위해.
• 유한 혼합 모형의 모멘트 기반 추정에서 해의 존재성과 유일성 문제를 극복하기 위해.
• 가우시안 위치-스케일 혼합 모형의 매개변수 추정을 위한 계산적으로 효율적이고 통계적으로 최적의 절차를 개발하기 위해.
• 부정확한 모델에 대해 워샤르 거리 기반 비교를 통해 적응형 최소자승 최적성과 오라클 부등식을 확립하기 위해.
• 비볼록 최적화의 함정을 피하면서도 일반화된 방법의 모멘트에 대해 증명 가능한 효율적인 알고리즘을 제공하기 위해.

제안 방법

• 이차형 프로그래밍(SDP)을 사용하여 표본 모멘트를 잘라낸 모멘트 공간에 투영함으로써 타당성과 안정성을 확보하는 노이즈 제거.
• 노이즈 제거 후 정규화된 방법의 모멘트 방정식을 효율적으로 해결하기 위해 가우스 구적법을 사용.
• 다항식 보간과 주도화 기법을 통해 워샤르 거리 기반의 모멘트 비교 정리를 수립.
• 노이즈 제거된 모멘트 추정치가 최소한의 가정 하에 일致하고 최적의 매개변수 추정기로 이어짐을 증명.
• 이차형 프로그래밍을 사용하여 모멘트 공간을 특성화하고 모멘트 행렬의 양성 제약 조건을 강제.
• 노이즈 제거된 모멘트 시스템에서 편향과 분산의 상호 작용을 분석함으로써 적응형 속도를 유도.

실험 결과

연구 질문

• RQ1 유한 표본에서 유한 혼합 모형의 모멘트 방법이 존재성과 유일성을 보장하도록 정규화될 수 있는가?
• RQ2 모르는 평균과 공통 분산을 가진 k-성분 가우시안 혼합 모형을 추정할 때의 최적 수렴 속도는 무엇인가?
• RQ3 어떻게 모멘트 기반 추정이 다양한 매끄러움 클래스의 혼합 분포에 대해 적응형 최소자승 최적성을 달성할 수 있는가?
• RQ4 유한 혼합 모형에 대해 워샤르 거리를 사용하여 비점근적 모멘트 비교 정리를 도출할 수 있는가?
• RQ5 노이즈 제거된 방법의 모멘트는 분리 조건에 의존하지 않고 MLE와 유사한 증명 가능한 통계적 보장을 제공하는가?

주요 결과

• 노이즈 제거된 방법의 모멘트는 공통 분산을 가진 k-성분 가우시안 혼합 모형 추정에서 적응형 최소자승 최적 속도를 달성하며, 최대우도추정기의 최적 속도와 일치한다.
• 제안된 절차는 이차형 프로그래밍을 통해 모멘트 추정치를 잘라낸 모멘트 공간에 투영함으로써 해의 존재성과 유일성을 보장한다.
• 가우스 구적법을 통해 빠른 해법을 도출함으로써, 고차수 모멘트에 대해서도 효율적인 계산이 가능하다.
• 다항식 보간과 주도화 기법을 사용하여 워샤르 거리 기반의 새로운 모멘트 비교 정리를 수립함으로써 비점근적 분석이 가능해졌다.
• 부정확한 모델에 대해 오라클 부등식을 도출하여 추정기가 진짜 모델 복잡도에 적응함을 보였다.
• 이 접근법은 비볼록 환경에서 일반화된 방법의 모멘트에 대해 증명 가능한 효율성과 통계적 최적성의 첫 번째 알고리즘을 제공한다.