[論文レビュー] Dual-stream Multiple Instance Learning Network for Whole Slide Image Classification with Self-supervised Contrastive Learning

Bin Li, Yin Li+1 more|arXiv (Cornell University)|Nov 17, 2020

Image Retrieval and Classification Techniques参考文献 53被引用数 42

ひとこと要約

この論文はDSMILを導入し、パッチレベルのラベルなしで全スライド画像を分類し腫瘍を局在するための訓練可能な距離ベースのアグリゲーションと自己教師あり対比学習を備えたデュアルストリームMILフレームワークを提案する。マルチスケール特徴を活用して精度を向上させる。

ABSTRACT

We address the challenging problem of whole slide image (WSI) classification. WSIs have very high resolutions and usually lack localized annotations. WSI classification can be cast as a multiple instance learning (MIL) problem when only slide-level labels are available. We propose a MIL-based method for WSI classification and tumor detection that does not require localized annotations. Our method has three major components. First, we introduce a novel MIL aggregator that models the relations of the instances in a dual-stream architecture with trainable distance measurement. Second, since WSIs can produce large or unbalanced bags that hinder the training of MIL models, we propose to use self-supervised contrastive learning to extract good representations for MIL and alleviate the issue of prohibitive memory cost for large bags. Third, we adopt a pyramidal fusion mechanism for multiscale WSI features, and further improve the accuracy of classification and localization. Our model is evaluated on two representative WSI datasets. The classification accuracy of our model compares favorably to fully-supervised methods, with less than 2% accuracy gap across datasets. Our results also outperform all previous MIL-based methods. Additional benchmark results on standard MIL datasets further demonstrate the superior performance of our MIL aggregator on general MIL problems. GitHub repository: https://github.com/binli123/dsmil-wsi

研究の動機と目的

• スライドレベルラベルのみを用いた弱教師ありWSI分類のアドレス。
• アンバランスなバッグと大きなバッグサイズにおけるMIL集約の弱点を緩和。
• MILのための自己教師あり対比学習（SimCLR）による頑健なパッチ表現の学習。
• マルチスケールのピラミッド融合を開発し、マルチスケール組織特徴を活用。
• WSIデータセットで最先端性能を示し、一般的なMILベンチマークでの検証。

提案手法

• デュアルストリームMILアグリゲータとしてDSMILを提案：重要なインスタンスを特定する最大プーリングストリームとバッグ埋め込みを計算する距離ベースアテンションストリーム。
• インスタンス埋め込みh_iと重要インスタンスとの間の訓練可能な距離U(h_i, h_m)を使用してアテンション重みを形成。
• U(h_i, h_m)を重みとしてインスタンス情報ベクトルv_iの加重和としてバッグ埋め込みを計算し、バッグ分類器でスコアを算出；最終スコアは2つのストリームの平均。
• MILの頑健なパッチ表現を得るために自己教師あり対比学習（SimCLR）を用いて特徴抽出器fを訓練。
• 5xおよび20xの拡大倍率からの特徴を連結してマルチスケール埋め込みを形成するピラミッド型マルチスケール特徴融合を採用し、局所的に制約されたアテンションを実現。
• 大規模バッグにおける記憶とラベル不足を緩和し、表現品質を改善する自己教師あり学習フレームワークを活用。

実験結果

リサーチクエスチョン

• RQ1 デュアルストリームMILアグリゲータと訓練可能な距離測定が、弱ラベルWSIにおけるインスタンスおよびバッグレベルの識別性を向上させるか。
• RQ2 自己教師あり対比学習は、WSIのMILにおいてエンドツーエンド訓練やImageNet事前学習と比べて頑健なパッチ表現を生み出すか。
• RQ3 マルチスケール（ピラミッド）特徴融合は単一スケールよりWSI分類と局在性能を向上させるか。
• RQ4 DSMILはWSI以外の標準MILベンチマークでどう機能するか、またそのアグリゲーションはタスク間で一般化するか。

主な発見

Model	Scale	Accuracy	AUC	Localization/FROC
Mean-pooling	Single	0.7984	0.7620	0.1162
Max-pooling	Single	0.8295	0.8641	0.3313
MILRNN	Single	0.8062	0.8064	0.3048
ABMIL	Single	0.8450	0.8653	0.4056
DSMIL	Single	0.8682	0.8944	0.4296
Fully-supervised	Single	0.9147	0.9362	0.5254
MS-MILRNN	Multiple	0.8140	0.8371	0.2791
MS-ABMIL	Multiple	0.8760	0.8872	0.4191
DSMIL-LC	Multiple	0.8992	0.9165	0.4371
Mean-pooling	Single	0.8857	0.9369	-
Max-pooling	Single	0.8088	0.9014	-
MIL-RNN	Single	0.8619	0.9107	-
ABMIL	Single	0.9000	0.9488	-
DSMIL	Single	0.9190	0.9633	-
MS-MIL-RNN	Multiple	0.8905	0.9213	-
MS-ABMIL	Multiple	0.9000	0.9551	-
DSMIL-LC	Multiple	0.9286	0.9583	-

• DSMILはWSI分類と腫瘍局在で他の最近のMILモデルより優れており、Camelyon16およびTCGA肺癌データセットで約2-3%の精度向上を達成。
• マルチスケールアテンション（DSMIL-LC）により、分類で完全監視付き手法との差を2%未満に縮小。
• パッチ表現の自己教師あり対比学習はエンドツーエンド訓練に比べ大幅な改善をもたらし、特に不均衡なバッグシナリオで顕著（例：Camelyon16）。
• マルチスケールアテンションは単一スケールおよび他のマルチスケール融合戦略より優れており、DSMIL-LCはCamelyon16およびTCGAデータセットで最先端の結果を達成。
• 古典的MILデータセットでも、DSMILは最近のMILアグリゲータと競合または優位な結果を示し、デュアルストリームアプローチの一般化を示す。
• アブレーション研究は、DSMILアグリゲータ、対比学習、およびマルチスケールアテンションがMIL性能の改善に寄与することを確認。