[논문 리뷰] Statistical Inference with Local Optima

Yen‐Chi Chen|arXiv (Cornell University)|2018. 07. 12.

Statistical Methods and Inference참고 문헌 44인용 수 4

한 줄 요약

이 논문은 비볼록이고 다중 모달한 우도 함수에서 다수의 무작위 초기화를 통해 유도된 추정기의 통계적 추론을 연구한다. 이러한 추정기가 향하는 모집단 양상, 유한한 초기화 수로 인한 신뢰구간의 커버리지 부족, 그리고 MLE가 계산이 불가능한 경우를 위한 이중표본 검정을 제안한다. 주요 기여는 국소 최대값에서 수렴하는 추정기의 점근적 행동과 신뢰구간의 타당성에 대한 이론적 특성화이다.

ABSTRACT

We study the statistical properties of an estimator derived by applying a gradient ascent method with multiple initializations to a multi-modal likelihood function. We derive the population quantity that is the target of this estimator and study the properties of confidence intervals (CIs) constructed from asymptotic normality and the bootstrap approach. In particular, we analyze the coverage deficiency due to finite number of random initializations. We also investigate the CIs by inverting the likelihood ratio test, the score test, and the Wald test, and we show that the resulting CIs may be very different. We propose a two-sample test procedure even when the MLE is intractable. In addition, we analyze the performance of the EM algorithm under random initializations and derive the coverage of a CI with a finite number of initializations.

연구 동기 및 목표

• 다중 모달한 우도 함수에서 다수의 무작위 초기화를 통해 얻은 추정기의 통계적 성질을 이해하는 것.
• 특히 전역 MLE가 아닌 국소 최대값으로 수렴할 경우 이러한 추정기가 향하는 모집단 양상을 규명하는 것.
• 점근 정규성, 부트스트랩, 우도 비율, 스코어, 월드 검정을 통한 방법으로 구성된 신뢰구간의 커버리지 성질을 분석하는 것.
• 유한한 수의 무작위 초기화로 인한 신뢰구간 커버리지 부족을 정량화하는 것.
• 비볼록성으로 인해 MLE 계산이 불가능한 경우에 이중표본 검정 절차를 제안하는 것.

제안 방법

• 이론적 분석을 통해 다중 초기화를 통한 경사상승 추정기가 다중 모달한 우도 함수에서 향하는 모집단 양상을 유도한다.
• 점근 정규성과 부트스트랩을 통한 신뢰구간 분석을 수행하며, 초기화 수가 유한할 경우 커버리지가 부족해질 수 있음을 보여준다.
• 우도 비율, 스코어, 월드 검정 기반의 세 가지 검정 기반의 신뢰구간을 비교하며, 국소 최대값 조건에서 결과가 상당히 다를 수 있음을 시사한다.
• 집중 불등식과 헤프딩의 부등식을 사용하여, 유한한 초기화 조건 하에서 전역 최대값을 놓칠 확률의 상한을 도출한다.
• 오차 항을 제어하기 위해 이벤트 기반 분석(E1, E2, E3, E4)을 도입하며, 밀도 및 기울기 추정의 편향과 추정 오차를 통합한다.
• 신뢰구간의 커버리지 확률에 대한 하한을 유도하며, 이는 $1 - \alpha - (1 - \frac{1}{3}P(\mathcal{A}_{\sf mode}))^n + O(\sqrt{1/(nh^{d+2})}) + O(\sqrt{nh^{d+6}})$임을 보여준다.

Figure 1: Log-likelihood function of fitting a 2-Gaussian mixture model to a data that is generated from a 3-Gaussian mixture model. The true distribution has a density function: $p_{0}(x)=0.5\phi(x;0,0.2^{2})+0.45\phi(x;0.75,0.2^{2})+0.05\phi(x;3,0.2^{2})$ , where $\phi(x;\mu,\sigma^{2})$ is the de

실험 결과

연구 질문

• RQ1 우도 함수가 다중 모달일 경우, 다수의 무작위 초기화를 통한 경사상승 추정기가 향하는 모집단 양상은 무엇인가?
• RQ2 유한한 수의 무작위 초기화가 점근 정규성 또는 부트스트랩을 통해 구성된 신뢰구간의 커버리지 확률에 어떤 영향을 미치는가?
• RQ3 MLE가 도달되지 않을 경우, 우도 비율, 스코어, 월드 검정 기반의 신뢰구간은 커버리지 측면에서 어떻게 비교될 수 있는가?
• RQ4 추정기가 진정한 MLE가 아니라 국소 최대값으로 수렴함으로써 발생하는 경우, 신뢰구간의 이론적 커버리지 보장은 무엇인가?
• RQ5 비볼록성으로 인해 MLE 계산이 불가능한 경우, 이중표본 검정을 구성할 수 있으며, 그 이론적 성질은 무엇인가?

주요 결과

• 다수의 무작위 초기화를 통한 추정기는 전역 MLE가 아닌 초기화 분포에 따라 달라지는 국소 최대값을 향하는 모집단 양상을 타깃으로 한다.
• 점근 정규성 또는 부트스트랩 기반의 신뢰구간은 유한한 초기화 수로 인해 커버리지 부족을 겪으며, 커버리지 확률은 $1 - \alpha - (1 - \frac{1}{3}P(\mathcal{A}_{\sf mode}))^n + O(\sqrt{1/(nh^{d+2})}) + O(\sqrt{nh^{d+6}})$로 하한이 존재한다.
• 우도 비율, 스코어, 월드 검정 기반의 신뢰구간은 상당히 다른 커버리지 결과를 낼 수 있으며, 이는 국소 최대값 조건에서 검정 선택에 민감함을 시사한다.
• 유한한 초기화 조건 하에서 전역 최대값을 놓칠 확률은 $ (1 - \frac{1}{3}P(\mathcal{A}_{\sf mode}))^n $으로 상한이 존재하며, 이는 표본 크기 $n$에 따라 지수적으로 감소한다.
• 제안된 이중표본 검정은 MLE 계산이 불가능한 경우에도 타당하며, 비볼록 모델에서의 추론을 위한 실용적인 대안을 제공한다.
• 이론적 커버리지 하한은 커버리지 부족이 전역 최대값을 놓칠 확률에 의해 지배되며, 미약한 정규성 조건 하에서는 이 확률이 지수적으로 작다.

Figure 3: A modal regression method to the mixture regression problem. Left: we display a data generated by a 4-mixture regression model. Right: the objective function of the linear modal regression as a function of the parameter $\theta$ . The three red vertical lines display the boundary of basins