[論文レビュー] Attention-based Deep Multiple Instance Learning

Maximilian Ilse, Jakub M. Tomczak+1 more|arXiv (Cornell University)|Feb 13, 2018

Image Retrieval and Classification Techniques参考文献 36被引用数 671

ひとこと要約

ニューラルネットワークベースの、順列不変MILフレームワークを学習可能なアテンションプーリング演算子とともに導入し、いくつかのデータセットにわたって競争力のある結果を達成し、解釈可能なインスタンスレベルの重要性（ROI）を提供します。

ABSTRACT

Multiple instance learning (MIL) is a variation of supervised learning where a single class label is assigned to a bag of instances. In this paper, we state the MIL problem as learning the Bernoulli distribution of the bag label where the bag label probability is fully parameterized by neural networks. Furthermore, we propose a neural network-based permutation-invariant aggregation operator that corresponds to the attention mechanism. Notably, an application of the proposed attention-based operator provides insight into the contribution of each instance to the bag label. We show empirically that our approach achieves comparable performance to the best MIL methods on benchmark MIL datasets and it outperforms other methods on a MNIST-based MIL dataset and two real-life histopathology datasets without sacrificing interpretability.

研究の動機と目的

• MIL を、ニューラルネットによってパラメータ化された Bernoulli バッグラベル分布を学習する形に再定式化する。
• 学習可能な順列不変な集約演算子を開発する（アテンションベース）。
• アテンションウェイトを介してバッグラベルに対する解釈可能なインスタンス寄与を提供する。
• ニューラルネットワークを用いて、インスタンス変換、プーリング、バッグレベルの予測をエンドツーエンドで訓練できるようにする。

提案手法

• バッグ確率を対称関数 S(X)=g( sum_x f(x) ) としてモデル化する。
• 各インスタンスをニューラルネットワーク f_ψ を介して低次元埋め込み h_k に変換する。
• 微分可能で学習可能なアテンションベースのプーリングを用いて埋め込みを集約する z = sum_k a_k h_k、ここで a_k は学習されたアテンションウェイトである。
• アテンションウェイト(a_k) の表現力を高めるためにゲーティング機構（tanh および sigmoid）を用いる。
• bag X が与えられたときの Bernoulli バッグラベル Y の対数尤度を最大化することでエンドツーエンドに訓練する。
• アテンションウェイトが鍵となるインスタンス/ROIをハイライトすることを示すことで解釈可能性を実証する。

実験結果

リサーチクエスチョン

• RQ1 Can a neural attention-based MIL pooling achieve competitive bag-level accuracy on standard MIL benchmarks?
• RQ2 Does the proposed pooling provide interpretable instance-level contributions (key instances/ROIs) for decision justification?
• RQ3 How does embedding-based MIL with attention compare to instance-based MIL pooling (mean/max) across diverse datasets?
• RQ4 Is the approach effective in small-sample medical imaging settings where pixel/patch annotations are weak or scarce?

主な発見

• The attention-based deep MIL approach achieves performance on par with the best classical MIL methods on benchmark datasets and outperforms other methods on MNIST-based MIL and two histopathology datasets.
• The attention weights enable identification of key instances, providing interpretable ROIs in medical imaging tasks.
• Embedding-based models generally outperform instance-based models, and gated attention improves performance over plain attention on at least some datasets.
• Mean pooling performs worse than max pooling in the MNIST-bags experiments, while the gated-attention variant shows robustness across datasets.