[논문 리뷰] Maximum Likelihood Estimation for Learning Populations of Parameters

Ramya Korlakai Vinayak, Weihao Kong외 2명|arXiv (Cornell University)|2019. 02. 12.

Machine Learning and Algorithms참고 문헌 23인용 수 12

한 줄 요약

이 논문은 관측 수가 적을 때(즉, t ≪ N) 이항 분포의 모수에 대한 인구 분포를 학습하는 데 최대우도추정량(MLE)이 통계적으로 최적임을 입증한다. MLE는 t = O(log N)일 때 오차 한계가 O(1/t)이고, 더 큰 t일 때는 O(1/√(t log N))로 최소최대 최적의 성능을 달성하며, 조정이 필요 없는 자동 적응 기능을 통해 플러그인 추정량보다 뛰어나다.

ABSTRACT

Consider a setting with $N$ independent individuals, each with an unknown parameter, $p_i \in [0, 1]$ drawn from some unknown distribution $P^\star$. After observing the outcomes of $t$ independent Bernoulli trials, i.e., $X_i \sim ext{Binomial}(t, p_i)$ per individual, our objective is to accurately estimate $P^\star$. This problem arises in numerous domains, including the social sciences, psychology, health-care, and biology, where the size of the population under study is usually large while the number of observations per individual is often limited. Our main result shows that, in the regime where $t \ll N$, the maximum likelihood estimator (MLE) is both statistically minimax optimal and efficiently computable. Precisely, for sufficiently large $N$, the MLE achieves the information theoretic optimal error bound of $\mathcal{O}(\frac{1}{t})$ for $t < c\log{N}$, with regards to the earth mover's distance (between the estimated and true distributions). More generally, in an exponentially large interval of $t$ beyond $c \log{N}$, the MLE achieves the minimax error bound of $\mathcal{O}(\frac{1}{\sqrt{t\log N}})$. In contrast, regardless of how large $N$ is, the naive "plug-in" estimator for this problem only achieves the sub-optimal error of $Θ(\frac{1}{\sqrt{t}})$.

연구 동기 및 목표

• 개별 모수 pi ∈ [0,1]의 분포 P⋆를 추정하는 문제를 다루며, 이는 각 개인당 t개의 독립적인 이항 시행만 가능하고 N이 크다는 조건에서 발생한다.
• 이러한 희소 관측 환경에서 최대우도추정량(MLE)의 통계적 성능을 분석하고, 특히 P⋆를 추정하는 정확도를 평가한다.
• MLE가 지구이동거리(워샤르슈타인-1 거리)에 대해 정보이론적으로 최적의 오차 한계를 달성함을 입증한다.
• 특히 t가 O(log N)를 초월할 경우, MLE가 난이도 높은 플러그인 추정량과 순간매칭 추정량보다 뛰어난 성능을 보임을 보여준다.
• 초기화 파rameter 조정 없이도 t가 N에 비해 다양한 척도에서 수렴 속도에 대한 이론적 보장을 제공한다.

제안 방법

• 각 개인의 t번의 시행에 대한 이항 우도를 사용하여 [0,1] 위의 모든 분포 Q에 대해 로그우도를 최대화하는 방식으로 MLE를 수립한다.
• 우도 함수의 계수 분석을 위해 베르슈타인 다항식 근사를 활용하며, 조합론적 및 해석적 기법을 통해 그 성장률을 제한한다.
• 정보이론적 한계를 증명하기 위해 두 분포 P와 Q의 첫 s개의 모멘트를 일치시키는 하한선 구축 기법을 사용한다.
• P와 Q 하에서의 이항 결과 간의 총변동거리 한계를 적용하여, 모멘트가 일치할 경우 이를 통계적으로 구분하는 것이 불가능하다는 점을 보인다.
• 집중부등식과 1-Lipschitz 함수의 성질을 활용하여 MLE가 진짜 분포를 근사할 때 발생하는 오차를 통제한다.
• 베르슈타인 다항식의 계수 C(t, m, j)에 대한 새로운 분석을 통해 오차 한계를 도출하며, 더 엄밀한 한계를 추측함으로써 최적성의 적용 범위를 넓힐 수 있음을 제시한다.

실험 결과

연구 질문

• RQ1 희소 관측 조건에서 이항 모수의 인구 분포를 추정할 때 MLE가 정보이론적으로 최적의 오차율을 달성할 수 있는가?
• RQ2 t가 N에 비해 다양한 척도에서 MLE의 성능이 플러그인 추정량과 순간매칭 추정량과 비교해 어떻게 되는가?
• RQ3 t ≪ N일 때 W1 거리로 P⋆를 추정하는 최소최대 오차율은 무엇이며, MLE가 이를 달성할 수 있는가?
• RQ4 모멘트매칭 접근법과 달리, MLE는 초깃값 조정 없이 다양한 t 척도에 자동으로 적응할 수 있는가?
• RQ5 1-Lipschitz 함수를 근사하는 데 사용되는 베르슈타인 다항식의 계수에 대해 가장 날카로운 한계는 무엇이며, 이는 MLE 오차에 어떤 영향을 미치는가?

주요 결과

• t = O(log N)일 때 MLE는 지구이동거리(W1)에서 오차 한계 Oδ(1/t)를 달성하며, 이는 상수 요소를 제외한 정보이론적으로 최적이다.
• t ∈ [Ω(log N), O(N^{2/9−ϵ})] 범위에서 MLE는 고도로 확률적으로 최소최대 최적 오차 한계 Oδ(1/√(t log N))를 달성한다.
• 간단한 플러그인 추정량은 N과 관계없이 항상 하위 최적 오차 Θ(1/√t)를 기록하므로, MLE가 희소 환경에서 뛰어난 성능을 보임을 입증한다.
• t = O(log N)일 때는 순간매칭 추정량이 MLE와 동등한 성능을 보이나, 더 큰 t에서는 고차 모멘트의 높은 분산으로 인해 실패한다.
• 모멘트매칭이나 다른 추정량과 달리 MLE는 조정 없이도 다양한 환경에 자동으로 적응한다.
• 논문은 MLE의 오차 한계가 t = O(N^{2/3−ϵ})까지 O(1/√(t log N))로 향상될 수 있다고 추측하며, 이는 최적성 적용 범위가 더 넓어질 수 있음을 시사한다.