[论文解读] Bag Graph: Multiple Instance Learning using Bayesian Graph Neural Networks

Soumyasundar Pal, Antonios Valkanas+2 more|arXiv (Cornell University)|Feb 22, 2022

Machine Learning and Data Classification被引用 4

一句话总结

本文提出 Bag Graph，一种用于多实例学习（Multiple Instance Learning）的贝叶斯图神经网络框架，可在无先验图结构的情况下，联合学习袋级别表征并推断袋之间的关系图结构。通过将神经网络多实例学习模型与可微分的贝叶斯图神经网络相结合，该方法在分类基准上实现了最先进性能，并在文本分类、选举预测和租金价格回归任务中取得了优越结果。

ABSTRACT

Multiple Instance Learning (MIL) is a weakly supervised learning problem where the aim is to assign labels to sets or bags of instances, as opposed to traditional supervised learning where each instance is assumed to be independent and identically distributed (IID) and is to be labeled individually. Recent work has shown promising results for neural network models in the MIL setting. Instead of focusing on each instance, these models are trained in an end-to-end fashion to learn effective bag-level representations by suitably combining permutation invariant pooling techniques with neural architectures. In this paper, we consider modelling the interactions between bags using a graph and employ Graph Neural Networks (GNNs) to facilitate end-to-end learning. Since a meaningful graph representing dependencies between bags is rarely available, we propose to use a Bayesian GNN framework that can generate a likely graph structure for scenarios where there is uncertainty in the graph or when no graph is available. Empirical results demonstrate the efficacy of the proposed technique for several MIL benchmark tasks and a distribution regression task.

研究动机与目标

• 解决现有多实例学习方法假设实例独立同分布、无法建模实例或袋之间依赖关系的局限性。
• 克服真实世界多实例学习应用中缺乏或存在噪声的袋间关系图信息的挑战。
• 开发一种端到端框架，通过贝叶斯图神经网络联合学习袋表征并推断袋之间的有意义图拓扑结构。
• 通过利用不确定性感知的图结构推断，实现在多实例学习中的归纳学习与直推学习。
• 在多样化多实例学习任务中（包括分类、文本分类与分布回归）证明该方法的有效性。

提出的方法

• 集成实例级别神经网络（如 Deep Sets、Set Transformer），从实例集合中学习排列不变的袋表征。
• 构建一个贝叶斯图神经网络（Bayesian GNN），联合学习袋之间的图结构并通过对消息传递进行标签预测。
• 采用变分推断框架推断图边的后验分布，实现在无真实图结构时的不确定性感知图学习。
• 通过可微分图结构推断端到端训练整个架构，使梯度能够同时流经袋表征与图拓扑学习组件。
• 在训练与推理中采用直推设置，联合推断训练袋与测试袋的图结构，以提升泛化能力。
• 利用观测到的空间或关系辅助信息（如地理邻近性）作为初始图先验，由贝叶斯图神经网络在训练过程中进行优化。

实验结果

研究问题

• RQ1 在多实例学习任务中，当缺乏先验图信息时，贝叶斯图神经网络框架能否有效推断袋之间的有意义关系结构？
• RQ2 与将袋视为独立或使用固定图的模型相比，端到端学习袋表征与图拓扑结构在性能上有多大提升？
• RQ3 在分类与回归设置中，所提出方法相较于最先进多实例学习模型的性能提升程度如何？
• RQ4 与归纳学习或孤立测试节点设置相比，直推图结构推断设置是否具有性能优势？
• RQ5 该方法能否在文本分类、选举结果预测与房地产价格回归等多样化领域实现良好泛化？

主要发现

• 所提出的 B-DS-GCN 与 B-ST-GCN 模型在租金价格回归任务中分别取得最低 RMSE（67.51 ± 16.39）与 MAE（47.24 ± 10.21），显著优于基线模型（如 Deep Sets 的 RMSE：86.37 ± 20.41）。
• 消融实验表明，直推图结构推断（将测试节点纳入图学习）相比孤立测试节点设置，RMSE 降低 10.6%，证明其有效性。
• 贝叶斯图神经网络变体（B-DS-GCN 与 B-ST-GCN）在选举结果预测与文本分类任务中表现最佳，优于非图基线模型与 GCN 变体。
• 即使未提供真实图结构，该方法在标准基准数据集上的表现仍与最先进多实例学习模型相当或更优。
• 贝叶斯框架的使用实现了不确定性感知的图学习，使模型能够自适应地学习超越简单地理邻近性的复杂关系。
• 实证结果表明，该方法在多个任务中具有鲁棒性，在回归实验的 100 次随机训练-测试划分中，RMSE、MAE 与 MAPE 均保持一致提升。