[论文解读] Learning Populations of Parameters

Kevin Tian, Weihao Kong+1 more|arXiv (Cornell University)|Sep 8, 2017

Machine Learning and Algorithms参考文献 11被引用 5

一句话总结

本文提出了一种新颖的算法，用于从每个实体的有限观测数据（例如每个实体的少量试验）中恢复大规模群体中未知二项参数 $ p_i \in [0,1] $ 的分布。通过利用群体层面的结构特征和 Steinian 去噪技术，该方法在 Wasserstein 距离下实现了 $ O(1/t) $ 的误差界，显著优于经验估计的 $ \Theta(1/\sqrt{t}) $，在 $ n $ 较大时达到信息论最优。

ABSTRACT

Consider the following estimation problem: there are $n$ entities, each with an unknown parameter $p_i \in [0,1]$, and we observe $n$ independent random variables, $X_1,\ldots,X_n$, with $X_i \sim $ Binomial$(t, p_i)$. How accurately can one recover the "histogram" (i.e. cumulative density function) of the $p_i$'s? While the empirical estimates would recover the histogram to earth mover distance $Θ(\frac{1}{\sqrt{t}})$ (equivalently, $\ell_1$ distance between the CDFs), we show that, provided $n$ is sufficiently large, we can achieve error $O(\frac{1}{t})$ which is information theoretically optimal. We also extend our results to the multi-dimensional parameter case, capturing settings where each member of the population has multiple associated parameters. Beyond the theoretical results, we demonstrate that the recovery algorithm performs well in practice on a variety of datasets, providing illuminating insights into several domains, including politics, sports analytics, and variation in the gender ratio of offspring.

研究动机与目标

• 解决当每个 $ p_i \in [0,1] $ 仅通过少量独立试验（例如每个实体 $ t $ 次抛掷）观测时，估计个体参数 $ p_i $ 分布的挑战。
• 通过利用 $ n $ 个实体的整个群体的集体结构，克服经验估计中 $ t $ 较小时的固有噪声。
• 开发一种方法，实现对 $ p_i $ 累积分布函数（CDF）估计的信息论最优误差，以 Wasserstein 距离衡量。
• 将该框架扩展至多维参数估计，提升在体育分析和遗传学等现实领域中的适用性。
• 通过政治、体育和犬类幼崽性别比例等案例研究，提供实际验证，证明其在推断性能上优于经验估计。

提出的方法

• 将估计问题建模为从观测到的 $ X_i $ 值中恢复 $ n $ 个未知 $ p_i $ 的经验分布 $ P $，其中每个 $ X_i \sim \text{Binomial}(t, p_i) $。
• 提出一种去噪算法，利用群体的全局结构——特别是 $ p_i $ 的经验矩受观测 $ X_i $ 约束——以超越单个实体经验均值的方式改进估计。
• 使用矩匹配技术估计 $ p_i $-分布的前 $ k $ 阶矩，其中 $ k $ 根据数据可用性和期望精度选择。
• 通过自举法对矩估计进行精炼，生成平滑的、非参数的 CDF 估计 $ Q $，使 Wasserstein 距离 $ \|P - Q\|_W $ 最小化。
• 推导理论误差界，证明在 $ n $ 足够大时，真实 $ P $ 与估计 $ Q $ 之间的 Wasserstein 距离以高概率为 $ O(1/t) $。
• 通过将每个实体的参数向量建模为高维空间中的点，并应用类似的基于矩的恢复技术，将方法扩展至多维参数。

实验结果

研究问题

• RQ1 当每个参数 $ p_i $ 仅通过 $ t $ 次独立试验观测时，我们能在多大程度上改进对个体二项参数 $ p_i $ 的经验估计？
• RQ2 我们能否在大型群体 $ n $ 中以显著低于经验 CDF 的 $ \Theta(1/\sqrt{t}) $ 速率，恢复 $ p_i $ 的底层分布？
• RQ3 当 $ n $ 较大但 $ t $ 较小时，估计 $ p_i $ 的 CDF 的信息论极限是什么？
• RQ4 所提出的算法能否检测到经验估计可能忽略的参数分布细微差异（例如犬类幼崽性别比例或县政治倾向的差异）？
• RQ5 该算法在现实世界数据集（如体育、政治和生物学领域）中表现如何，其中个体层面的数据具有噪声，但群体层面的模式具有信息量？

主要发现

• 所提算法在真实与估计 CDF 之间的 Wasserstein 距离误差为 $ O(1/t) $，这是信息论最优的，显著优于经验估计的 $ \Theta(1/\sqrt{t}) $ 误差。
• 在 $ n $ 足够大的假设下，该算法保证以高概率实现误差界 $ \frac{\pi}{t} + O_{\delta}\left(\frac{3^t t \ln t}{\sqrt{n}}\right) $，表明误差随 $ t $ 收敛，而非 $ \sqrt{t} $。
• 在犬类幼崽案例研究中（$ n \approx 8,000 $），该方法得出结论：公犬概率 $ p_i $ 的分布与位于 0.5 的点质量分布无法区分，表明各窝之间无显著差异。
• 对于美国 3,116 个县在 8 场选举中的数据，该算法恢复了共和党投票概率的稳定 CDF，其与均匀或对称分布的偏差极小，表明政治倾向稳定。
• 在 NBA 球员投篮数据中（$ n \approx 457–524 $ 场比赛），该方法揭示斯蒂芬·库里在比赛间的投篮命中率分布高度集中于其均值，支持其一贯稳定的声誉；而丹尼·格林的分布则显示出略高的方差。
• 在所有案例研究中，该算法均优于经验 CDF，视觉比较和矩分析表明，估计的 CDF 更平滑、更稳定，且更准确地反映了底层群体结构，优于原始经验估计。