[論文レビュー] Bag Graph: Multiple Instance Learning using Bayesian Graph Neural Networks

Soumyasundar Pal, Antonios Valkanas+2 more|arXiv (Cornell University)|Feb 22, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、事前グラフが存在しない状況下で、バッグレベルの表現とバッグ間の関係的グラフ構造を同時に学習するベイジアングラフニューラルネットワークフレームワークBag Graphを提案する。ニューラルMILモデルと微分可能なベイジアンGNNを統合することで、分類ベンチマークで最先端の性能を達成するとともに、テキスト分類、選挙予測、賃貸価格回帰のタスクにおいても優れた結果を示した。

ABSTRACT

Multiple Instance Learning (MIL) is a weakly supervised learning problem where the aim is to assign labels to sets or bags of instances, as opposed to traditional supervised learning where each instance is assumed to be independent and identically distributed (IID) and is to be labeled individually. Recent work has shown promising results for neural network models in the MIL setting. Instead of focusing on each instance, these models are trained in an end-to-end fashion to learn effective bag-level representations by suitably combining permutation invariant pooling techniques with neural architectures. In this paper, we consider modelling the interactions between bags using a graph and employ Graph Neural Networks (GNNs) to facilitate end-to-end learning. Since a meaningful graph representing dependencies between bags is rarely available, we propose to use a Bayesian GNN framework that can generate a likely graph structure for scenarios where there is uncertainty in the graph or when no graph is available. Empirical results demonstrate the efficacy of the proposed technique for several MIL benchmark tasks and a distribution regression task.

研究の動機と目的

• 独立同分布（i.i.d.）のインスタンスを仮定する従来のMIL手法の限界を解決し、インスタンス間またはバッグ間の依存関係をモデル化できない問題に対処する。
• 現実のMIL応用において、関係的グラフ情報が欠落している、またはノイズが多く含まれる問題に取り組む。
• ベイジアンGNNを用いて、バッグ表現と意味のあるグラフトポロジーを同時に学習するエンドツーエンドフレームワークを構築する。
• 不確実性を考慮したグラフ構造推論を活用することで、MILにおけるインダクティブおよびトランスダクティブ学習を可能にする。
• 分類、テキスト分類、分布回帰を含む多様なMILタスクにおいて、本手法の有効性を実証する。

提案手法

• インスタンスレベルのニューラルネットワーク（例：Deep Sets、Set Transformer）を統合し、インスタンスの集合から置換不変なバッグ表現を学習する。
• バッグ間のグラフ構造とラベル予測を、メッセージパッシングを用いて同時に学習するベイジアンGNN（Bayesian GNN）を構築する。
• 変分推論フレームワークを用いて、エッジの事後分布を推論し、真のグラフが存在しない状況下での不確実性を考慮したグラフ学習を可能にする。
• 微分可能なグラフ推論を用いて、バッグ表現とグラフトポロジー学習の両方のコンポonentに勾配が伝わるように、エンドツーエンドで学習を実行する。
• 訓練および推論の両方でトランスダクティブ設定を採用し、訓練用バッグとテスト用バッグの両方のグラフ構造を同時に推論することで、一般化性能を向上させる。
• 空間的または関係的側情報（例：地理的近接性）を初期グラフ事前分布として活用し、トレーニング中にベイジアンGNNがそれを最適化する。

実験結果

リサーチクエスチョン

• RQ1 MILタスクにおいて、事前グラフ情報が欠如している状況下で、ベイジアンGNNフレームワークが意味のあるバッグ間関係構造を効果的に推論できるか？
• RQ2 バッグ表現とグラフトポロジーのエンドツーエンド学習は、バッグを独立とみなす、または固定グラフを用いるモデルと比較して、性能をどのように向上させるか？
• RQ3 提案手法は、分類および回帰の両設定において、最先端のMILモデルをどの程度上回るか？
• RQ4 トランスダクティブなグラフ推論設定は、インダクティブまたは分離されたテストノード設定に比べて性能向上をもたらすか？
• RQ5 本手法は、テキスト分類、選挙結果予測、不動産価格回帰といった多様な分野に一般化可能か？

主な発見

• B-DS-GCNおよびB-ST-GCNモデルは、賃貸価格回帰タスクでRMSE（67.51 ± 16.39）とMAE（47.24 ± 10.21）を最低水準に抑え、Deep Sets（RMSE: 86.37 ± 20.41）などのベースラインモデルを著しく上回った。
• アブレーションスタディでは、テストノードを含むトランスダクティブなグラフ推論が、分離されたテストノード設定と比較してRMSEを10.6%低減した。これは、その有効性を示している。
• ベイジアンGNNの変種（B-DS-GCNおよびB-ST-GCN）は、選挙結果予測およびテキスト分類タスクで、非グラフベースラインおよびGCN変種を上回る性能を達成した。
• 真のグラフが提供されていなくても、標準ベンチマークデータセット上で最先端のMILモデルと同等またはそれ以上の性能を発揮した。
• ベイジアンフレームワークの活用により、単なる地理的近接性を越えた複雑な関係性を、適応的に学習可能な不確実性を考慮したグラフ学習が可能になった。
• 実験的結果から、本手法は複数のタスクにわたりロバストであり、回帰実験における100回のランダムな訓練・テスト分割において、RMSE、MAE、MAPEのすべてで一貫した改善が得られた。