[论文解读] Maximum Likelihood Estimation for Learning Populations of Parameters

Ramya Korlakai Vinayak, Weihao Kong+2 more|arXiv (Cornell University)|Feb 12, 2019

Machine Learning and Algorithms参考文献 23被引用 12

一句话总结

该论文证明，在每个个体的观测次数稀疏（t ≪ N）时，最大似然估计器（MLE）在学习伯努利参数的总体分布方面具有统计最优性。它证明了当 t = O(log N) 时，MLE 达到了 O(1/t) 的极小化极大误差界，当 t 较大时达到了 O(1/√(t log N)) 的极小化极大误差界，优于插补估计器，并且在不同区间内自动适应而无需调参。

ABSTRACT

Consider a setting with $N$ independent individuals, each with an unknown parameter, $p_i \in [0, 1]$ drawn from some unknown distribution $P^\star$. After observing the outcomes of $t$ independent Bernoulli trials, i.e., $X_i \sim ext{Binomial}(t, p_i)$ per individual, our objective is to accurately estimate $P^\star$. This problem arises in numerous domains, including the social sciences, psychology, health-care, and biology, where the size of the population under study is usually large while the number of observations per individual is often limited. Our main result shows that, in the regime where $t \ll N$, the maximum likelihood estimator (MLE) is both statistically minimax optimal and efficiently computable. Precisely, for sufficiently large $N$, the MLE achieves the information theoretic optimal error bound of $\mathcal{O}(\frac{1}{t})$ for $t < c\log{N}$, with regards to the earth mover's distance (between the estimated and true distributions). More generally, in an exponentially large interval of $t$ beyond $c \log{N}$, the MLE achieves the minimax error bound of $\mathcal{O}(\frac{1}{\sqrt{t\log N}})$. In contrast, regardless of how large $N$ is, the naive "plug-in" estimator for this problem only achieves the sub-optimal error of $Θ(\frac{1}{\sqrt{t}})$.

研究动机与目标

• 解决在每个个体仅有 t 次独立伯努利试验且 N 较大时，估计个体参数 pi ∈ [0,1] 的分布 P⋆ 的挑战。
• 分析在此稀疏观测情形下最大似然估计器（MLE）的统计性能，特别是其对 P⋆ 的估计精度。
• 建立 MLE 在地球移动距离（Wasserstein-1 距离）下达到信息论最优误差界。
• 证明 MLE 在 t 超过 O(log N) 的情形下优于朴素插补估计器和矩匹配估计器。
• 在不依赖超参数调优的前提下，提供 MLE 在不同 t 相对于 N 的尺度下的收敛速率的理论保证。

提出的方法

• 将 MLE 表述为在 [0,1] 上所有分布 Q 上最大化对数似然函数，对每个个体的 t 次试验使用二项分布似然。
• 采用切比雪夫多项式逼近方法分析似然函数的系数，利用组合与分析技术控制其增长。
• 基于匹配两个分布 P 和 Q 的前 s 阶矩构造下界，以证明信息论极限。
• 通过比较在 P 和 Q 下的二项分布结果的总变差距离，表明当矩匹配时，统计上无法区分二者。
• 利用集中不等式和利普希茨-1 函数的性质，控制 MLE 对真实分布逼近中的误差。
• 通过新颖分析 Bernstein 多项式中系数 C(t, m, j) 的方法推导误差界，并推测更紧的界，可能扩展最优性的适用范围。

实验结果

研究问题

• RQ1 在稀疏观测下，MLE 能否实现估计伯努利参数总体分布的信息论最优误差率？
• RQ2 MLE 在不同 t 相对于 N 的区间内的性能与插补估计器和矩匹配估计器相比如何？
• RQ3 当 t ≪ N 时，通过 W1 距离估计 P⋆ 的极小化极大误差率是多少？MLE 能否达到该界？
• RQ4 MLE 是否能自动适应不同 t 值而无需超参数调优，而无需像矩匹配方法那样需要参数校准？
• RQ5 逼近利普希茨-1 函数的 Bernstein 多项式系数的最紧可能界是什么？它们如何影响 MLE 的误差？

主要发现

• 当 t = O(log N) 时，MLE 在地球移动距离（W1）下达到 Oδ(1/t) 的误差界，该界在常数因子内为信息论最优。
• 当 t ∈ [Ω(log N), O(N^{2/9−ϵ})] 时，MLE 以高概率达到极小化极大最优误差界 Oδ(1/√(t log N))。
• 朴素插补估计器的误差仅为 Θ(1/√t)，与 N 无关，凸显了 MLE 在稀疏情形下的优越性。
• 当 t = O(log N) 时，矩匹配估计器与 MLE 表现相当，但在 t 较大时因高阶矩的方差过大而失效。
• MLE 自动适应不同区间而无需调优，而局部矩匹配或其他需要参数校准的估计器则不然。
• 本文推测 MLE 的误差界可进一步改进为 O(1/√(t log N))，适用范围可扩展至 t = O(N^{2/3−ϵ})，暗示更广范围的最优性。