[论文解读] Multi-Instance Learning with Any Hypothesis Class

Sivan Sabato, Naftali Tishby|arXiv (Cornell University)|Jul 11, 2011

Image Retrieval and Classification Techniques参考文献 41被引用 22

一句话总结

本文提出了一种适用于任意假设类别的多重实例学习（MIL）统一理论框架，表明样本复杂度仅与袋大小呈多对数依赖关系。该文提出一种MIL的PAC学习算法，利用任意高效的非MIL学习算法（具有单边误差）作为黑箱，确保在袋大小上具有多项式时间复杂度，同时保持泛化保证。

ABSTRACT

In the supervised learning setting termed Multiple-Instance Learning (MIL), the examples are bags of instances, and the bag label is a function of the labels of its instances. Typically, this function is the Boolean OR. The learner observes a sample of bags and the bag labels, but not the instance labels that determine the bag labels. The learner is then required to emit a classification rule for bags based on the sample. MIL has numerous applications, and many heuristic algorithms have been used successfully on this problem, each adapted to specific settings or applications. In this work we provide a unified theoretical analysis for MIL, which holds for any underlying hypothesis class, regardless of a specific application or problem domain. We show that the sample complexity of MIL is only poly-logarithmically dependent on the size of the bag, for any underlying hypothesis class. In addition, we introduce a new PAC-learning algorithm for MIL, which uses a regular supervised learning algorithm as an oracle. We prove that efficient PAC-learning for MIL can be generated from any efficient non-MIL supervised learning algorithm that handles one-sided error. The computational complexity of the resulting algorithm is only polynomially dependent on the bag size.

研究动机与目标

• 为MIL提供一种通用的理论分析，适用于任意假设类别，且不依赖于具体应用场景。
• 在MIL中建立样本复杂度的紧致界，表明其对袋大小仅呈多对数依赖。
• 开发一种通用的MIL PAC学习算法，使用任意高效的非MIL学习器作为预言机。
• 统一常规监督学习与MIL的分析，揭示两者之间的强理论联系。
• 实现非MIL学习进展向MIL的可迁移性，同时保证计算复杂度与泛化性能。

提出的方法

• 提出一种通用的MIL学习框架，通过标签与假设的变换，将非MIL学习问题映射为MIL问题。
• 引入一种新的MIL PAC学习算法，基于非MIL预言机的弱学习器，其误差界由预言机性能推导得出。
• 应用提升算法AdaBoost∗，结合经修改的弱学习器，从非MIL学习器生成实值袋分类器。
• 利用覆盖数、胖-破碎维数与Rademacher复杂度，对各类假设类别的MIL泛化误差进行界约束。
• 分析袋函数为布尔函数的Lipschitz或单调扩展的情形，通过单实例假设类的复杂度实现泛化界。
• 通过证明当预言机高效时，所得MIL算法的运行时间在袋大小、1/ϵ与1/δ上均为多项式，从而获得计算复杂度保证。

实验结果

研究问题

• RQ1 能否为任意假设类别的MIL建立统一的理论分析，且不依赖于特定领域假设？
• RQ2 在广义MIL中，样本复杂度对袋大小的依赖关系如何？与经典监督学习相比有何差异？
• RQ3 能否利用任意高效的非MIL学习算法（具有单边误差）构造出高效的MIL PAC学习算法？
• RQ4 MIL中的泛化复杂度度量（如VC维、Rademacher复杂度）与单实例学习中的度量有何关系？
• RQ5 在实际MIL设置（如基于OR规则的分离超平面）中，理论界是否足够紧致？

主要发现

• 二值MIL的VC维为O(d log r)，其中d为底层假设类别的VC维，r为袋大小，表明其对r仅呈多对数依赖。
• 在d维空间中，对于分离超平面，MIL的VC维为Ω(d log r)，表明在这一重要情形下界是紧致的（至多差常数因子）。
• 对于单调布尔袋函数的二值MIL，伪维数为O(d log r)，将该界扩展至一大类标记函数。
• 具有Lipschitz袋函数的MIL假设的覆盖数，受制于单实例假设类的覆盖数，从而实现泛化迁移。
• 具有Lipschitz袋函数的实值MIL的胖-破碎维数在r上为多对数依赖，在实例假设类的胖-破碎维数上为拟线性。
• 在平均袋大小有界的二值MIL中，Rademacher复杂度为O(√(d log r / m))，其中m为样本大小，表明对袋大小仅有轻微敏感性。