[論文レビュー] SparseConvMIL: Sparse Convolutional Context-Aware Multiple Instance Learning for Whole Slide Image Classification

Marvin Lerousseau, Maria Vakalopoulou+2 more|arXiv (Cornell University)|May 6, 2021

AI in cancer detection参考文献 30被引用数 5

ひとこと要約

この論文では、全スライド画像（WSI）タイル間の空間的関係を、空間的に意識された埋め込みマップ上でスパース畳み込みニューラルネットワークを用いてモデル化する、SparseConvMILと呼ばれる新しい複数インスタンス学習フレームワークを提案する。スパース畳み込みによるコンテキストの活用により、32種の癌亜型にわたる10,000枚のスライドからなる大規模なWSI分類ベンチマークで最先端の性能を達成し、従来のMIL手法に比べて表現学習と分類精度が向上した。

ABSTRACT

Multiple instance learning (MIL) is the preferred approach for whole slide image classification. However, most MIL approaches do not exploit the interdependencies of tiles extracted from a whole slide image, which could provide valuable cues for classification. This paper presents a novel MIL approach that exploits the spatial relationship of tiles for classifying whole slide images. To do so, a sparse map is built from tiles embeddings, and is then classified by a sparse-input CNN. It obtained state-of-the-art performance over popular MIL approaches on the classification of cancer subtype involving 10000 whole slide images. Our results suggest that the proposed approach might (i) improve the representation learning of instances and (ii) exploit the context of instance embeddings to enhance the classification performance. The code of this work is open-source at {github censored for review}.

研究の動機と目的

• 従来のMIL手法がWSI分類においてタイル間の空間的関係を無視するという限界を是正すること。
• タイル配置からのコンテキスト的手がかりを捉えることのできるスケーラブルでモジュール化可能かつ微分可能なMILフレームワークの開発。
• 32種の癌亜型にわたる10,000枚の全スライド画像を含む、大規模で臨床的に関連性のあるWSI分類タスクにおける手法のベンチマーク化。
• タイル埋め込みにおける空間的コンテキストを活用することで、インスタンスの表現学習と全体の分類性能の向上。

提案手法

• 共通のパッチ埋め込み器（分類器ヘッドを除くResNet34）が、WSI全体にわたってランダムに抽出された128×128ピクセルのタイルから512次元の埋め込みを抽出する。
• タイル埋め込みは、WSI内での元の空間的座標に従ってスパース2次元特徴マップにマッピングされ、空間的に構造化された表現が形成される。
• スパース入力畳み込みニューラルネットワークが、タイル埋め込み間の局所的およびグローバルな空間的依存関係を捉える。
• 得られたWSIレベルの埋め込みは、32ユニットの全結合分類器ヘッドを通過し、多クラス亜型分類が行われる。
• モデル全体は、バイナリクロスエントロピー損失、Adam最適化アルゴリズム、およびタイル座標に適用されるデータオーグメンテーション（反転、回転、ズーム）を用いてエンドツーエンドで学習される。
• クラスの不均衡を補うために、32クラスのデータセット全体で逆頻度オーバーサンプリングが訓練中に適用された。

実験結果

リサーチクエスチョン

• RQ1 タイル埋め込み間の空間的関係をモデル化することで、標準的なMIL手法に比べてWSI分類性能が向上するか？
• RQ2 不規則に分布するタイル埋め込みからのコンテキスト情報を、スパース畳み込みアーキテクチャが効果的に捉えられるか？
• RQ3 本手法は、高いクラス多様性と長尾分布を示す大規模で現実世界のWSIデータセットにおいて、スケーリングおよび性能をどのように果たすか？
• RQ4 スパースマップ表現が、インスタンスの表現学習と最終的な分類精度をどの程度向上させるか？

主な発見

• SparseConvMILは、32種の癌亜型にわたる10,000枚のスライドからなるWSI分類ベンチマークで最先端の性能を達成し、従来のMIL手法を上回った。
• 空間的コンテキストを活用することで分類精度が向上し、特にタイル間の関係性のモデリングが顕著な利益をもたらした。
• 一部のクラスでは訓練スライドがたった138枚という低頻度クラスに対しても、強力な性能を発揮した。
• タイル座標に適用された空間的データオーグメンテーション（反転、回転、ズーム）が、モデルのロバスト性と一般化性能を顕著に向上させた。
• スパース畳み込みモジュールは、密な特徴マップを必要とせず、不規則に分布するタイル埋め込みを効率的に処理でき、メモリオーバーヘッドを低減した。
• 共通の埋め込みと分類器ヘッドを用いたエンドツーエンド学習により、すべてのベンチマーク手法で一貫した性能が得られ、本手法のスケーラビリティとモularityが裏付けられた。