[论文解读] A bag-to-class divergence approach to multiple-instance learning

Kajsa Møllersen, Jon Yngve Hardeberg+1 more|arXiv (Cornell University)|Mar 7, 2018

Image Retrieval and Classification Techniques参考文献 31被引用 3

一句话总结

本文提出了一种用于多实例学习的袋到类散度方法，将袋建模为概率分布，从而能够利用类条件Kullback-Leibler（cKL）信息等统计散度，在数据稀疏情况下提升分类性能。通过类条件分布建模，该方法相比袋到袋散度显著降低了计算成本，并在稀疏多实例数据集上提升了性能。

ABSTRACT

In multi-instance (MI) learning, each object (bag) consists of multiple feature vectors (instances), and is most commonly regarded as a set of points in a multidimensional space. A different viewpoint is that the instances are realisations of random vectors with corresponding probability distribution, and that a bag is the distribution, not the realisations. In MI classification, each bag in the training set has a class label, but the instances are unlabelled. By introducing the probability distribution space to bag-level classification problems, dissimilarities between probability distributions (divergences) can be applied. The bag-to-bag Kullback-Leibler information is asymptotically the best classifier, but the typical sparseness of MI training sets is an obstacle. We introduce bag-to-class divergence to MI learning, emphasising the hierarchical nature of the random vectors that makes bags from the same class different. We propose two properties for bag-to-class divergences, and an additional property for sparse training sets.

研究动机与目标

• 解决多实例学习中袋通常包含少量实例所导致的数据稀疏性挑战。
• 克服如Kullback-Leibler信息等袋到袋散度带来的高计算成本。
• 通过将袋建模为概率分布，建立一种统计上合理的多实例分类框架。
• 引入一类新的相异度度量——袋到类散度，以整合类条件信息。
• 为基于散度性质（独立于数据）评估多实例学习方法提供理论基础。

提出的方法

• 将每个袋建模为实例上的概率分布，将关注点从实例级表示转向分布级表示。
• 提出使用类条件Kullback-Leibler（cKL）信息作为袋分布与类条件分布之间相异度的度量，即袋到类散度。
• 应用重要性采样来近似散度，实现高效计算，并将结果映射到向量空间以供分类器使用。
• 引入袋到类散度的两个核心性质：在类条件独立性下的一致性，以及对类特定分布偏移的敏感性。
• 将这些性质扩展至包含对稀疏训练集的鲁棒性，尤其在每袋实例数较少的情况下。
• 将所得散度用作下游分类器的特征，连接袋空间（BS）与嵌入空间（ES）范式。

实验结果

研究问题

• RQ1 将袋建模为概率分布是否能在数据稀疏的多实例学习中提升分类性能？
• RQ2 在准确率和计算效率方面，袋到类散度与袋到袋散度相比表现如何？
• RQ3 袋到类散度应满足哪些性质以确保鲁棒性和统计有效性？
• RQ4 类条件散度（如cKL）在每袋实例数极少的稀疏训练集上能处理到何种程度？
• RQ5 所提出方法在标准多实例学习假设之外的多样化多实例学习问题中具有多大程度的泛化能力？

主要发现

• 袋到类散度方法在稀疏多实例数据集上显著提升了分类性能，尤其在每袋实例数较少的情况下。
• 在稀疏条件下，所提出的类条件Kullback-Leibler（cKL）散度在误分类率方面优于标准袋到袋KL散度。
• 该方法相比完整袋到袋散度计算显著降低了计算成本，同时保持了高准确率。
• 重要性采样实现了对散度的高效近似，使该方法可扩展至真实世界的多实例学习问题。
• 散度的理论性质确保了鲁棒性，并支持对多实例学习方法进行与数据无关的评估。
• 在Musk1和Musk2数据集上的实证结果表明，尽管训练集稀疏，该方法仍能与当前最先进的多实例学习方法保持竞争力。