[論文レビュー] Semi-Supervised Histology Classification using Deep Multiple Instance\n Learning and Contrastive Predictive Coding

Ming Y. Lu, Richard J. Chen+3 more|arXiv (Cornell University)|Oct 23, 2019

AI in cancer detection被引用数 54

ひとこと要約

論文は、限られたラベル下でヒストologyスライド分類を改善するため、対比予測コード(CPC)と注意ベースのMILを組み合わせた2段階の半教師ありパイプラインを提案し、BACHデータセットで最先端の成績を達成します。

ABSTRACT

Convolutional neural networks can be trained to perform histology slide\nclassification using weak annotations with multiple instance learning (MIL).\nHowever, given the paucity of labeled histology data, direct application of MIL\ncan easily suffer from overfitting and the network is unable to learn rich\nfeature representations due to the weak supervisory signal. We propose to\novercome such limitations with a two-stage semi-supervised approach that\ncombines the power of data-efficient self-supervised feature learning via\ncontrastive predictive coding (CPC) and the interpretability and flexibility of\nregularized attention-based MIL. We apply our two-stage CPC + MIL\nsemi-supervised pipeline to the binary classification of breast cancer\nhistology images. Across five random splits, we report state-of-the-art\nperformance with a mean validation accuracy of 95% and an area under the ROC\ncurve of 0.968. We further evaluate the quality of features learned via CPC\nrelative to simple transfer learning and show that strong classification\nperformance using CPC features can be efficiently leveraged under the MIL\nframework even with the feature encoder frozen.\n

研究の動機と目的

• 限られたラベル付きヒストロジー データにおける深層MILの過適合と特徴学習の不足を解決する。
• unlabeledパッチからリッチなインスタンスレベル表現を学ぶために自己教師付きCPCを活用する。
• CPC特徴を正則化付き注意ベースのMILと統合して効果的なバッグレベル分類を実現する。
• エンコーダを凍結したまま訓練をメモリ効率化しつつ性能を維持する。

提案手法

• 各画像を注意ベースのMILフレームワークのパッチのバッグとして扱う。
• unlabeledパッチに対して自己教師付きCPCで特徴エンコーダを事前訓練し、ヒストロジー特有の表現を学習する。
• 負のインスタンスで過剰適合を防ぐため、KLダイバージェンス正則化を伴うマージンベースの損失を使用する。
• ImageNet事前学習特徴またはCPC特徴を任意に転移、エンコーダは凍結またはファインチューニング。
• エンコーダを凍結し、注意MILネットワークの前にコンパクトな線形層を追加してメモリ効率訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CPCベースの事前訓練は限られたラベルでのMILベースヒストロジー分類を改善できるか？
• RQ2 BACHデータセットでCPC＋MILは標準のMILおよび転移学習と比較してどうか？
• RQ3 エンコーダを凍結した場合の性能と訓練効率への影響は？
• RQ4 正則化（KL-div）と滑らかなマージン損失が負のバッグの過度アテンションを緩和するか？
• RQ5 CPC＋MILで強いAUC性能を得るにはラベルはいくつ必要か？

主な発見

Method	Accuracy (%)	AUC ROC
MIL + ImageNet (CE)	84.4 ± 9.40	0.933 ± 0.514
MIL + ImageNet (R)	86.0 ± 4.64	0.939 ± 0.240
MIL + CPC (CE)	91.8 ± 7.53	0.959 ± 0.052
MIL + CPC (R)	95.0 ± 2.65	0.968 ± 0.022

• MIL＋CPCは滑らかなSVM損失とKL-div正則化を用いると5つのランダム分割で95.0%の精度と0.968のAUCを達成する。
• ImageNet事前訓練付きのMIL＋CPCは91.8%の精度と0.959のAUCを達成し、ImageNetのみは劣る。
• 凍結したCPC特徴をMILと組み合わせると90.6%の精度と0.939のAUCを達成し、メモリ効率訓練を実現。
• CPC特徴はエンコーダを凍結しても強い分類性能を実現し、訓練可能パラメータ数を800k未満に抑制。
• CPC＋MILの訓練はクラスあたりわずか16ラベルでも良好な性能を示し、平均AUCは0.82超を達成（Fig 3）。
• 注意マップは高核密度領域および情報量の多い領域に焦点を合わせ、一部の壊死組織や移動細胞領域を見逃すことがある。