[论文解读] Learning about individuals from group statistics

Hendrik Kück, Nando de Freitas|arXiv (Cornell University)|Jul 4, 2012

Image Retrieval and Classification Techniques参考文献 11被引用 35

一句话总结

本文提出了一种新颖的贝叶斯概率框架，用于从群体层面的统计信息中推断个体实例的标签，其中仅能观测到每组中正样本的比例。通过采用严谨的贝叶斯模型与高效的马尔可夫链蒙特卡洛（MCMC）推理方法，该方法即使在群体比例存在不确定性且个体标签未知的情况下，也能准确估计个体标签，在合成数据和真实世界的目标识别数据上表现出色。

ABSTRACT

We propose a new problem formulation which is similar to, but more informative than, the binary multiple-instance learning problem. In this setting, we are given groups of instances (described by feature vectors) along with estimates of the fraction of positively-labeled instances per group. The task is to learn an instance level classifier from this information. That is, we are trying to estimate the unknown binary labels of individuals from knowledge of group statistics. We propose a principled probabilistic model to solve this problem that accounts for uncertainty in the parameters and in the unknown individual labels. This model is trained with an efficient MCMC algorithm. Its performance is demonstrated on both synthetic and real-world data arising in general object recognition.

研究动机与目标

• 解决仅能获取正样本群体比例而无法获得个体标签时，学习个体层面标签的挑战。
• 开发一种严谨的概率模型，以同时考虑群体统计数据和未知个体标签中的不确定性。
• 在无法直接获取标签或成本过高的场景下，实现对个体实例的准确分类。
• 在合成数据和真实世界的目标识别任务上，验证该方法的有效性。

提出的方法

• 将问题建模为一种弱监督学习任务，使用群体层面的标签比例代替个体标签。
• 提出一种贝叶斯生成模型，联合推断在不确定性下的个体标签和模型参数。
• 采用马尔可夫链蒙特卡洛（MCMC）算法，对潜在的个体标签和模型参数进行后验推断。
• 通过完整的贝叶斯处理，同时对观测到的群体统计数据和未观测到的个体标签中的不确定性进行建模。
• 将实例的特征向量作为输入，通过潜在标签结构训练判别性分类器。
• 使用MCMC采样优化模型，以探索标签和参数的联合后验分布。

实验结果

研究问题

• RQ1 当仅知道每组中正样本的比例时，能否准确推断出个体实例的标签？
• RQ2 在学习框架中，如何对群体统计数据的不确定性以及未知的个体标签进行恰当建模？
• RQ3 基于群体统计数据训练的概率模型能否在个体层面预测任务中实现良好泛化？
• RQ4 与现有多种实例学习方法相比，该方法在标签恢复准确率方面表现如何？

主要发现

• 在合成数据上，所提方法在恢复个体标签方面显著优于基线的多种实例学习方法。
• 该模型能有效处理群体统计数据中的不确定性，在群体比例存在噪声或稀疏的情况下仍保持稳健性能。
• 在真实世界的目标识别数据上，该方法成功地从群体层面的标签比例中学习到了个体层面的分类器，展现出实际应用价值。
• MCMC推理过程收敛稳定，并为个体标签预测提供了校准良好的不确定性估计。