[论文解读] Model-Based Multiple Instance Learning

Ba‐Ngu Vo, Dinh Phung+2 more|arXiv (Cornell University)|Mar 7, 2017

Machine Learning and Data Classification参考文献 39被引用 3

一句话总结

本论文提出了一种基于点过程理论的点模式数据模型化学习框架，解决了传统似然函数中存在的单位不一致性和基数忽略等根本性缺陷。通过推导能够联合建模特征与基数的正确概率密度，该方法实现了分类、异常检测和聚类的合理、单位不变的扩展，并在合成数据集和真实世界数据集上展示了在一致排序与聚类方面的成功表现。

ABSTRACT

While Multiple Instance (MI) data are point patterns -- sets or multi-sets of unordered points -- appropriate statistical point pattern models have not been used in MI learning. This article proposes a framework for model-based MI learning using point process theory. Likelihood functions for point pattern data derived from point process theory enable principled yet conceptually transparent extensions of learning tasks, such as classification, novelty detection and clustering, to point pattern data. Furthermore, tractable point pattern models as well as solutions for learning and decision making from point pattern data are developed.

研究动机与目标

• 解决机器学习中点模式数据缺乏原则性统计模型的问题。
• 解决用于点模式的似然函数中的不一致性问题，特别是单位不兼容性和基数处理不佳的问题。
• 基于点过程理论，开发一个统一的、基于模型的框架，将分类、异常检测和聚类扩展至点模式数据。
• 为实际部署在真实世界学习任务中，提供可计算、计算高效的模型与算法。
• 证明所提出的框架在一致性和性能方面优于标准的基于似然的方法。

提出的方法

• 利用点过程理论推导点模式的正确似然函数，确保单位不变性并联合建模特征与基数。
• 使用随机有限集（RFS）理论将点模式建模为随机点过程的实现，从而实现严格的概率建模。
• 提出一类具有高斯强度函数的可计算泊松混合模型，用于聚类与分类。
• 开发一种改进的期望最大化（EM）算法，用于基于泊松混合模型对点模式进行聚类。
• 提出一种新颖的异常检测排序函数，避免了朴素似然与概率密度的陷阱。
• 将该框架应用于真实数据（Texture数据集）与合成数据，通过F1、NMI和纯度等标准指标验证性能。

实验结果

研究问题

• RQ1 如何为点模式数据定义一个兼顾特征值与基数的原则性似然函数？
• RQ2 为何标准似然函数（如密度乘积）在点模式的异常检测与聚类任务中会失效？
• RQ3 点过程理论能否为点模式上的模型化学习提供统一的、单位不变的框架？
• RQ4 所提出的排序函数在异常检测中为何优于朴素似然与基于密度的方法？
• RQ5 可计算的点过程模型能否在真实世界数据集中实现有效的点模式聚类？

主要发现

• 基于点过程理论提出的似然函数成功解决了标准似然函数中存在的单位不一致性和基数相关问题。
• 在异常检测中，所提出的排序函数始终将正常数据排在异常数据之前，而标准似然与密度方法则失败，甚至将部分异常数据排在正常数据之前。
• 在Texture数据集上，所提方法在异常检测中取得了超过0.8的高F1分数，而NB似然与概率密度方法未能检测出大多数异常。
• 使用高斯强度的泊松混合模型的EM聚类算法在所有三个模拟场景中均成功恢复了全部三个聚类，证明了其对特征与基数重叠的鲁棒性。
• 箱线图分析证实，仅所提出的排序函数提供了正常与异常数据的一致排序，而其他方法产生了反直觉的结果。
• 该框架通过单一统一的概率基础，实现了分类、异常检测与聚类任务的准确、原则性学习。