[論文レビュー] Maximum Likelihood Estimation for Learning Populations of Parameters

Ramya Korlakai Vinayak, Weihao Kong+2 more|arXiv (Cornell University)|Feb 12, 2019

Machine Learning and Algorithms参考文献 23被引用数 12

ひとこと要約

この論文は、個々の個人あたりの観測が少ない（t ≪ N）状況において、ベルヌーイ母数の母集団分布を学習する際、最尤推定（MLE）が統計的に最適であることを確立している。MLE は、t = O(log N) の場合に O(1/t)、より大きな t の場合に O(1/√(t log N)) のミニマックス最適誤差境界を達成しており、プラグイン推定器を上回り、チューニングなしに異なるスケールに自動的に適応する。

ABSTRACT

Consider a setting with $N$ independent individuals, each with an unknown parameter, $p_i \in [0, 1]$ drawn from some unknown distribution $P^\star$. After observing the outcomes of $t$ independent Bernoulli trials, i.e., $X_i \sim ext{Binomial}(t, p_i)$ per individual, our objective is to accurately estimate $P^\star$. This problem arises in numerous domains, including the social sciences, psychology, health-care, and biology, where the size of the population under study is usually large while the number of observations per individual is often limited. Our main result shows that, in the regime where $t \ll N$, the maximum likelihood estimator (MLE) is both statistically minimax optimal and efficiently computable. Precisely, for sufficiently large $N$, the MLE achieves the information theoretic optimal error bound of $\mathcal{O}(\frac{1}{t})$ for $t < c\log{N}$, with regards to the earth mover's distance (between the estimated and true distributions). More generally, in an exponentially large interval of $t$ beyond $c \log{N}$, the MLE achieves the minimax error bound of $\mathcal{O}(\frac{1}{\sqrt{t\log N}})$. In contrast, regardless of how large $N$ is, the naive "plug-in" estimator for this problem only achieves the sub-optimal error of $Θ(\frac{1}{\sqrt{t}})$.

研究の動機と目的

• 個々のパラメータ pi ∈ [0,1] の分布 P⋆ を推定する課題に取り組む。この際、各個人に対して t 個の独立したベルヌーイ試行しか得られず、N が大きいものとする。
• この疎な観測状況下における最尤推定（MLE）の統計的性能を分析し、特に P⋆ の推定精度を評価する。
• MLE が、地球移動距離（Wasserstein-1 距離）に関して情報理論的に最適な誤差境界を達成することを確立する。
• MLE が、特に t が O(log N) を超える領域において、ナイーブなプラグイン推定器やモーメントマッチング推定器を上回ることを示す。
• ハイパーパramータのチューニングを必要とせずに、t と N の相対的なスケールに応じた MLE の収束速度に関する理論的保証を提供する。

提案手法

• 各個人の t 回の試行に対する二項尤度を用いて、[0,1] 上のすべての分布 Q に対して対数尤度を最大化する形で MLE を定式化する。
• 尤度関数の係数の成長を組合せ的・解析的技法によって制限するために、ベルヌーイ多項式近似を用いる。
• 2つの分布 P と Q の最初の s 個のモーメントを一致させる構成を用いて、情報理論的限界を示す下界を構築する。
• P と Q の下での二項分布出力の全変動距離の境界を用いて、モーメントが一致する場合、それらを統計的に区別することは不可能であることを示す。
• 濃度不等式とリプシッツ-1 関数の性質を活用して、MLE が真の分布の近似における誤差を制御する。
• ベルヌーイ多項式における係数 C(t, m, j) の新たな解析を通じて誤差境界を導出し、よりタイトな境界が最適性の範囲を拡大可能であると仮説を立てる。

実験結果

リサーチクエスチョン

• RQ1 MLE は、観測が疎な状況下で、ベルヌーイ母数の母集団分布を推定するにあたり、情報理論的に最適な誤差率に達成可能か？
• RQ2 t と N の相対的なスケールに応じて、MLE の性能はプラグイン推定器やモーメントマッチング推定器と比べてどのように異なるか？
• RQ3 t ≪ N の場合に、W1 距離による P⋆ の推定におけるミニマックス誤差率は何か？ また、MLE はそれを達成可能か？
• RQ4 MLE は、ハイパーパramータのチューニングを必要とせずに、t の変動に自然に適応可能か？ 一方、モーメントマッチング手法とは対照的である。
• RQ5 リプシッツ-1 関数を近似するベルヌーイ多項式の係数に対する、最もタイトな境界は何か？ そして、それらは MLE の誤差にどのように影響するか？

主な発見

• t = O(log N) の場合、MLE は地球移動距離（W1）において Oδ(1/t) の誤差境界を達成しており、定数因子の違いを除き情報理論的に最適である。
• t ∈ [Ω(log N), O(N^{2/9−ϵ})] の範囲では、MLE は高確率でミニマックス最適誤差境界 Oδ(1/√(t log N)) を達成する。
• ナイーブなプラグイン推定器は、N にかかわらず常に Θ(1/√t) の劣化誤差に留まるため、MLE が疎な状況下で優位であることが明確になる。
• t = O(log N) の場合、モーメントマッチング推定器は MLE と同等の性能を示すが、より大きな t では高次モーメントの分散が高いため失敗する。
• MLE は、チューニングを必要とせず、異なるスケールに自然に適応する。一方、局所的モーメントマッチングやその他のパラメータキャリブレーションを要する推定器とは対照的である。
• 本稿では、MLE の誤差境界が O(1/√(t log N)) まで改善可能であると仮説を立てており、その範囲が t = O(N^{2/3−ϵ}) まで拡大可能である可能性を示唆している。