[论文解读] MIS-Boost: Multiple Instance Selection Boosting

Emre Akbaş, Bernard Ghanem+1 more|arXiv (Cornell University)|Sep 12, 2011

Image Retrieval and Classification Techniques参考文献 28被引用 5

一句话总结

MIS-Boost 是一种新颖的多实例学习方法，通过在提升框架内显式选择实例，学习判别性实例原型，使原型可为特征空间中的任意点，并以数据驱动的方式确定每个包中原型和所选实例的数量。该方法在基准数据集上优于当前最先进（SOTA）的多实例学习方法，并在大规模图像分类任务中将学习到的原型映射到视觉上有意义的图像区域。

ABSTRACT

In this paper, we present a new multiple instance learning (MIL) method, called MIS-Boost, which learns discriminative instance prototypes by explicit instance selection in a boosting framework. Unlike previous instance selection based MIL methods, we do not restrict the prototypes to a discrete set of training instances but allow them to take arbitrary values in the instance feature space. We also do not restrict the total number of prototypes and the number of selected-instances per bag; these quantities are completely data-driven. We show that MIS-Boost outperforms state-of-the-art MIL methods on a number of benchmark datasets. We also apply MIS-Boost to large-scale image classification, where we show that the automatically selected prototypes map to visually meaningful image regions.

研究动机与目标

• 解决现有多实例学习（MIL）方法中原型被限制为训练实例且每个包中所选实例数量固定的局限性。
• 克服原型学习与分类器训练相互独立处理的问题，从而限制模型容量。
• 开发一种在提升框架中联合学习原型和分类器的 MIL 方法，以提升判别能力。
• 实现完全数据驱动的原型数量和每个包中所选实例数量的选择，无需先验约束。
• 证明在大规模图像分类任务中，学习到的原型与视觉上有意义的图像区域相对应。

提出的方法

• MIS-Boost 使用一种提升框架，其中每个弱学习器是一个基于原型的分类器，每次迭代选择一个新的原型。
• 在每次迭代中，算法学习一个能最大程度区分正样本包和负样本包的原型，该原型根据其误分类历史进行加权。
• 原型不限于训练实例，可取特征空间中的任意值，从而支持连续优化。
• 原型总数和每个包中所选实例的数量由数据自适应确定，无需固定约束。
• 最终的强分类器由线性组合所有弱分类器构成，每个弱分类器对应一个学习到的原型。
• 实例选择是按每个包显式执行的，仅最具有判别性的实例对最终决策有贡献。

实验结果

研究问题

• RQ1 能否通过联合优化原型选择与分类器学习来提升多实例学习方法的性能？
• RQ2 允许原型在特征空间中连续取值（而非局限于训练实例）是否能带来更好的判别能力？
• RQ3 能否在无需先验约束的情况下，以数据驱动方式确定原型数量和每个包中所选实例数量？
• RQ4 在大规模图像分类任务中，自动学习到的原型是否对应于视觉上有意义且具有判别性的图像区域？
• RQ5 MIS-Boost 在基准数据集和真实世界数据集上与当前最先进（SOTA）的 MIL 方法相比表现如何？

主要发现

• MIS-Boost 在多个基准数据集上优于当前最先进（SOTA）的 MIL 方法，表现出更优的泛化能力和判别性能。
• 在 PASCAL VOC 2007 数据集上，MIS-Boost 对 'aeroplane' 类别取得了 0.55 的平均精度（AP）得分，优于基线 MIL 方法。
• 在 'bicycle' 类别上取得 0.28 的 AP 得分，在 'tvmonitor' 类别上取得 0.36 的 AP 得分，表明在类别不平衡、大规模数据集上表现一致。
• 可视化结果证实，MIS-Boost 所选择的最具判别性的实例与目标物体重叠的视觉上有意义区域相对应。
• 在背景杂乱主导的复杂情况下，该方法偶尔会选择非目标区域，表明其在上下文建模方面仍存在局限性。
• 作者发布了 PASCAL VOC MIL 格式的数据集和可视化代码，为未来 MIL 方法的基准测试提供了支持。