[論文レビュー] Knowledge distillation for semi-supervised domain adaptation

Mauricio Orbes‐Arteaga, M. Jorge Cardoso+6 more|arXiv (Cornell University)|Aug 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 5

ひとこと要約

本論文は、MRIスキャンにおける白色髄質過発達病変（WMH）を対象として、知識蒸留（KD）に基づく半教師ありドメイン適応手法を提案する。敵対的ドメイン適応（ADA）とは異なり、KDはラベルなしのターゲットドメインデータからのソフトラベルを用いて、教師ネットワークから生徒ネットワークへ知識を転送する。この手法により、ターゲットドメインのアノテート済みデータを一切必要とせず、異なるスキャナーや人口統計的要因を有するドメインにおいても顕著に高いDiceスコアを達成した。

ABSTRACT

In the absence of sufficient data variation (e.g., scanner and protocol variability) in annotated data, deep neural networks (DNNs) tend to overfit during training. As a result, their performance is significantly lower on data from unseen sources compared to the performance on data from the same source as the training data. Semi-supervised domain adaptation methods can alleviate this problem by tuning networks to new target domains without the need for annotated data from these domains. Adversarial domain adaptation (ADA) methods are a popular choice that aim to train networks in such a way that the features generated are domain agnostic. However, these methods require careful dataset-specific selection of hyperparameters such as the complexity of the discriminator in order to achieve a reasonable performance. We propose to use knowledge distillation (KD) -- an efficient way of transferring knowledge between different DNNs -- for semi-supervised domain adaption of DNNs. It does not require dataset-specific hyperparameter tuning, making it generally applicable. The proposed method is compared to ADA for segmentation of white matter hyperintensities (WMH) in magnetic resonance imaging (MRI) scans generated by scanners that are not a part of the training set. Compared with both the baseline DNN (trained on source domain only and without any adaption to target domain) and with using ADA for semi-supervised domain adaptation, the proposed method achieves significantly higher WMH dice scores.

研究の動機と目的

• アノテート済みデータが限られる状況において、スキャナーや人口統計的要因の変動に起因するドメインシフトを是正すること。
• ターゲットドメインのラベル付きデータを一切必要とせず、未観測のドメインに一般化できるドメイン適応手法の開発。
• 敵対的ドメイン適応（ADA）の主な制限要因である、データセット固有のハイパーパrameterチューニングに依存するのを減らすこと。
• 半教師ありドメイン適応におけるADAのシンプルでより頑健な代替手法として、知識蒸留を評価すること。
• クロススキャナーおよびクロスポピュレーションの状況下で、白色髄質過発達病変（WMH）の分類性能を向上させること。

提案手法

• 教師ネットワークをソースドメインデータ（例：ユトレヒトのMRIスキャン）で事前学習し、ラベルなしのターゲットドメイン画像に対してソフト確率分布（ログット）を生成する。
• 生徒ネットワークを、温度パラメータを用いたクロスエントロピー損失を用いて、ターゲットドメイン画像における教師の出力を模倣するように学習させる。
• KD損失は、ターゲットドメインに真のラベルが存在しない状況下でも、教師のソフトラベルからクラスごとの類似性パターンを学習させることを促進する。
• 本手法は「即時の適応」および従来のドメイン適応設定の両方で適用され、少量のラベルなしターゲットデータを用いて適応をガイドする。
• 生徒ネットワークは、ソースドメインの教師あり損失と、ターゲットドメインデータにおける教師からのKD損失を組み合わせて、エンドツーエンドでファインチューニングされる。
• 温度ハイパーパrameterはソースドメインでのみチューニングされ、ターゲットドメイン固有のチューニングの必要性が最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、半教師あり設定における医療画像分類のドメイン適応性能を、敵対的ドメイン適応（ADA）よりも向上させることができるか？
• RQ2 知識蒸留は、ADAと比較して、異なるMRIスキャナーおよび人口集団にわたってより良い一般化性能を示すか？
• RQ3 KDは、特に識別器の複雑さに関するハイパーパrameterチューニングに対して、ADAよりも感受性が低いのか？
• RQ4 小規模または断片的な病変、特に深部白色髄質領域におけるKDの性能は、ADAと比較して優れているか？
• RQ5 KDは敵対的手法と組み合わせることで、さらにクロスドメイン一般化性能を向上させることができるか？

主な発見

• 知識蒸留は、すべてのテストドメイン適応シナリオにおいて、ベースラインDNNおよびADAと比較して顕著に高い平均Diceスコアを達成した（ペアサンプルt検定のp値 < 0.05）。
• 即時の適応シナリオでは、6つのテストケースのうち5つでKDがADAを上回り、そのうち4つで統計的に有意な改善が確認された。
• 挑戦的なユトレヒト→シンガポールのドメイン適応では、ADAがわずかにKDを上回ったが、逆方向（シンガポール→ユトレヒト）ではKDが優れた性能を示し、ドメインシフトの非対称性が示された。
• KDは、ADAが苦戦する深部白色髄質領域の小規模病変に対しても、より優れた一般化性能を示した。視覚的比較により明確に確認された。
• 本手法は、さまざまなターゲットドメインで一貫した性能を示し、即時の適応と従来の設定の間でDiceスコアが安定していた。これは、少量のターゲットデータに依存しない頑健な性能を示している。
• 教師ネットワークをADAで適応させたモデルに置き換えた場合、KDの平均Diceスコアは0.65から0.69に向上した。これは、KDがより頑健な教師ネットワークから恩恵を受ける可能性を示している。