[论文解读] Multiple Instance Learning by Discriminative Training of Markov Networks

Hossein Hajimirsadeghi, Jinling Li+3 more|arXiv (Cornell University)|Sep 26, 2013

Image Retrieval and Classification Techniques参考文献 20被引用 10

一句话总结

本文提出了一种基于马尔可夫网络的判别式最大间隔学习框架，用于处理具有不同程度模糊性的多个实例学习（MIL）问题。通过利用基于基数的团块进行高效推理，该方法通过显式编码或从数据中学习模糊袋中正实例的比例，从而提升分类性能，该方法在UAI 2013会议的多种数据集上得到了验证。

ABSTRACT

We introduce a graphical framework for multiple instance learning (MIL) based on Markov networks. This framework can be used to model the traditional MIL definition as well as more general MIL definitions. Different levels of ambiguity -- the portion of positive instances in a bag -- can be explored in weakly supervised data. To train these models, we propose a discriminative max-margin learning algorithm leveraging efficient inference for cardinality-based cliques. The efficacy of the proposed framework is evaluated on a variety of data sets. Experimental results verify that encoding or learning the degree of ambiguity can improve classification performance.

研究动机与目标

• 为解决弱监督学习在多个实例学习（MIL）中的挑战，即仅提供袋级别标签而实例级别标签未知。
• 建模袋中模糊性的不同程度，即袋内正实例的比例，超越标准MIL假设中至少存在一个正实例的限制。
• 开发一种判别式训练方法，通过直接从数据中学习模糊性水平，以提升泛化能力。
• 通过基于马尔可夫网络的图模型框架，实现对MIL的灵活建模，超越传统定义。

提出的方法

• 该框架使用马尔可夫网络建模MIL，其中团块对每个袋中正实例的数量施加约束，实现基于基数的建模。
• 提出一种判别式最大间隔学习算法来训练模型参数，通过最大化正负袋预测之间的间隔来优化。
• 通过针对基于基数的团块设计的专用算法实现高效推理，即使在存在复杂依赖关系的情况下也能实现可处理的训练和预测。
• 采用弱监督方式端到端训练模型，从袋级别标签中同时学习图模型的结构和参数。
• 该方法支持通用的MIL定义，包括袋中仅存在部分正实例的情况。
• 通过结构化预测框架对每个袋内实例标签进行联合推理。

实验结果

研究问题

• RQ1 图模型框架能否有效表示并学习多个实例学习袋中的模糊性程度？
• RQ2 在MIL设置中，马尔可夫网络的判别式训练相比传统MIL假设能多大程度上提升分类性能？
• RQ3 建模可变模糊性水平（例如部分正实例）在多大程度上能提升分类性能？
• RQ4 能否利用基于基数的团块的高效推理来扩展判别式MIL训练的规模？
• RQ5 所提出的方法在具有不同模糊性水平的多样化MIL数据集上是否具备泛化能力？

主要发现

• 所提出的框架通过建模袋中模糊性程度，显著提升了分类准确率，优于标准MIL基线方法。
• 学习模糊性水平（即每个袋中正实例的比例）可提升在真实世界数据集上的泛化能力和鲁棒性。
• 与生成式或非判别式方法相比，判别式最大间隔训练方法在MIL设置中表现出更优的性能。
• 基于基数的团块的高效推理使训练和预测可扩展，使该方法适用于大规模MIL问题。
• 在多样化数据集上的实证结果表明，编码或学习模糊性可提升性能，尤其在袋级别噪声较高的弱监督场景中。
• 该方法在多个基准数据集上表现出强大的泛化能力，验证了其在复杂MIL场景下的灵活性和有效性。