[论文解读] Address Instance-level Label Prediction in Multiple Instance Learning

Minlong Peng, Qi Zhang|arXiv (Cornell University)|May 29, 2019

Handwritten Text Recognition Techniques参考文献 15被引用 6

一句话总结

本文提出BIMIL，一种新型的多实例学习（Multiple Instance Learning, MIL）算法，通过在实例层面定义损失函数，直接优化实例级标签预测，而无需依赖实例标签。在独立同分布（i.i.d.）假设下，该方法仅使用袋级标签即可无偏估计实例级风险，在实例级预测上达到与全监督模型相当的性能，同时保持了强劲的袋级性能。

ABSTRACT

extit{Multiple Instance Learning} (MIL) is concerned with learning from bags of instances, where only bag labels are given and instance labels are unknown. Existent approaches in this field were mainly designed for the bag-level label prediction (predict labels for bags) but not the instance-level (predict labels for instances), with the task loss being only defined at the bag level. This restricts their application in many tasks, where the instance-level labels are more interested. In this paper, we propose a novel algorithm, whose loss is specifically defined at the instance level, to address instance-level label prediction in MIL. We prove that the loss of this algorithm can be unbiasedly and consistently estimated without using instance labels, under the i.i.d assumption. Empirical study validates the above statements and shows that the proposed algorithm can achieve superior instance-level and comparative bag-level performance, compared to state-of-the-art MIL methods. In addition, it shows that the proposed method can achieve similar results as the fully supervised model (trained with instance labels) for label prediction at the instance level.

研究动机与目标

• 解决现有MIL方法仅关注袋级预测、在实例级标签预测上表现不佳的局限性。
• 开发一种方法，实现在无需访问实例级标签的情况下，有效进行MIL中的实例级标签预测。
• 在仅使用袋级标签的前提下，通过i.i.d.假设理论证明实例级损失估计的合理性。
• 通过实证验证，所提方法在实例级预测上的性能可接近全监督模型。

提出的方法

• 该方法引入一种专为实例层面设计的新损失函数，实现对实例级标签预测的直接优化。
• 通过利用i.i.d.假设下负样本比例的无偏估计，如定理1所形式化，实现对实例级风险的无偏估计。
• 采用有界贝叶斯一致损失函数，以确保风险估计的理论一致性，如定理2所示。
• 通过神经网络架构实现该方法，利用可学习的注意力机制聚合实例表示，损失在实例层面计算。
• 该方法仅使用袋级标签进行端到端训练，实例级监督通过估计的风险隐式建模。
• 理论分析证明，在有界贝叶斯一致损失函数下，估计的实例级风险会收敛到真实风险。

实验结果

研究问题

• RQ1 当仅可访问袋级标签时，能否有效优化MIL中的实例级标签预测？
• RQ2 是否可能在无实例标签的情况下无偏估计实例级风险？
• RQ3 使用有界贝叶斯一致损失函数是否能确保估计风险在MIL中一致收敛到真实风险？
• RQ4 所提方法在实例级预测性能上与全监督模型相比如何？
• RQ5 该方法对估计的负样本比例P(Y_X=0)的不准确性有多鲁棒？

主要发现

• BIMIL在MNIST上的实例级贝叶斯风险为2.7，SVHN为13.6，CIFAR10为31.0，20Newsgroup为13.0，与全监督模型（Sup）的2.8、14.7、28.7和10.8非常接近。
• 在所有四个数据集上，BIMIL的实例级贝叶斯风险始终接近全监督模型，表明其在实例级预测上表现强劲。
• 当使用均方误差（MSE）损失时，BIMIL在测试数据上表现出更少的过拟合和更好的泛化能力，而交叉熵损失则导致严重过拟合。
• 该方法对估计的负样本比例P(Y_X=0)的变化具有鲁棒性，当比例被高估时性能通常优于被低估的情况。
• BIMIL在袋级性能上与最先进MIL方法相当，测试贝叶斯风险为2.7（MNIST）、13.6（SVHN）、31.0（CIFAR10）和13.0（20Newsgroup），在所有数据集上均优于或匹配所有基线模型。
• 消融研究证实，引入MIL约束后袋级性能优于IMIL（后者缺乏此类约束），验证了所提公式的有效性。