[論文レビュー] Teacher-Student chain for efficient semi-supervised histology image classification

Shayne Shaw, Maciej Pajak+3 more|arXiv (Cornell University)|Mar 17, 2020

AI in cancer detection参考文献 14被引用数 24

ひとこと要約

本論文では、半教師付きヒストロジー画像分類のための教師-生徒チェーンフレームワークを提案する。各生徒モデルは、前のモデルの予測から得た偽ラベルで訓練され、少量のラベル付きデータでファインチューニングされる。わずか0.5%のラベル付きデータを用いても、100%のラベル付きデータで訓練された完全な教師付きモデルと同等の精度を達成し、デジタル病理会診におけるラベル付けの負担を顕著に低減する。

ABSTRACT

Deep learning shows great potential for the domain of digital pathology. An automated digital pathology system could serve as a second reader, perform initial triage in large screening studies, or assist in reporting. However, it is expensive to exhaustively annotate large histology image databases, since medical specialists are a scarce resource. In this paper, we apply the semi-supervised teacher-student knowledge distillation technique proposed by Yalniz et al. (2019) to the task of quantifying prognostic features in colorectal cancer. We obtain accuracy improvements through extending this approach to a chain of students, where each student's predictions are used to train the next student i.e. the student becomes the teacher. Using the chain approach, and only 0.5% labelled data (the remaining 99.5% in the unlabelled pool), we match the accuracy of training on 100% labelled data. At lower percentages of labelled data, similar gains in accuracy are seen, allowing some recovery of accuracy even from a poor initial choice of labelled training set. In conclusion, this approach shows promise for reducing the annotation burden, thus increasing the affordability of automated digital pathology systems.

研究の動機と目的

• ヒストロジー画像の深層学習モデルを訓練する際の高いラベル付けコストを低減すること。病理学者が少なく、高価であるため。
• 大規模な未ラベル付きヒストロジー画像データセットと少量のラベル付きデータセットを活用することで、デジタル病理会診におけるモデルの精度を向上させること。
• Yalnizら（2019）の半教師付き知識蒸留手法を、より良い性能と耐性を得るために生徒モデルのチェーンに拡張すること。
• 医療画像分類における偽ラベルフィルタリングのハイパーパrameter（KとP）を最適化し、ラベル付けと精度のトレードオフを改善すること。

提案手法

• まず、大腸ヒストロジーパッチの少量のラベル付きデータセットで教師モデルを訓練する。
• 教師は、大規模な未ラベル付きデータセットのためのソフト偽ラベルを生成し、各クラスごとに上位K個の信頼度スコアを用いてフィルタリングする。
• 生徒モデルは、フィルタリングされた偽ラベル付きデータで事前訓練され、その後元のラベル付きセットでファインチューニングされる。
• このプロセスは繰り返される：ファインチューニッシュされた生徒モデルが新たな教師となり、次の生徒のための改善された偽ラベルを生成する。
• チェーンは繰り返し訓練され、各後続の生徒モデルが前のモデルの性能を改善する。
• ハイパーパrameter KとPは検証セット上で最適化され、各クラスごとにK=4000が、高信頼度予測の上位80%をフィルタリングするのに最適であると判明した。

実験結果

リサーチクエスチョン

• RQ1 繰り返し洗練された偽ラベルで訓練された生徒モデルのチェーンは、少量のラベル付きデータセットでの教師付き学習を上回る分類精度を達成できるか？
• RQ2 ヒストロジー画像分類において、ラベル付きデータの量が減少するに従い、教師-生徒チェーンの性能はどのように変化するか？
• RQ3 医療画像分類における半教師付き学習の偽ラベルフィルタリングハイパーパrameter（KとP）の最適な設定は何か？
• RQ4 チェーン内の繰り返し最適化は、初期のラベル付きデータ選択が不適切であっても、その悪影響を緩和できるか？
• RQ5 少量のデータしかラベル付けされていない状況で、チェーンアプローチは標準的な教師付き学習と比較して、精度に優れているか？

主な発見

• わずか0.5%のラベル付きデータを用いても、教師-生徒チェーンは100%のラベル付きデータで訓練された完全な教師付きモデルと同等のテスト精度を達成した。
• 1%のラベル付きデータを用いた場合、チェーン内の最良の生徒モデルは20%のラベル付きデータで訓練された教師モデルを上回った。
• チェーンアプローチにより、バリアンスが低減され、破壊物、筋肉、正常、間質などの難しいクラスの精度が反復回数を重ねるごとに向上した。
• 各クラスごとにK=4000（最も信頼度の高い予測の上位80%）を用いた偽ラベルフィルタリングにより、わずかだが一貫した性能向上が得られた。
• 初期のラベル付きデータセットが最適でない場合でも、チェーンを用いることで一貫した精度向上が複数回の実行で確認された。
• 性能向上は累積的であり、チェーン内の各イテレーションで平均精度が上昇したが、最適なイテレーションは実行ごとに異なった。