[論文レビュー] Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation

Kang Li, Lequan Yu+2 more|arXiv (Cornell University)|Oct 4, 2020

Advanced Neural Network Applications参考文献 22被引用数 8

ひとこと要約

本論文は、オンライン相互知識蒸留（MKD）を用いて、アシスタントモダリティ（例：MRI）からの事前知識を活用することで、ターゲットモダリティ（例：CT）におけるセグメンテーションを向上させるクロスモダリティ医療画像セグメンテーションフレームワークを提案する。画像整合モジュール（IAM）を導入して外見的差を低減し、二つのセグメンテーションモデルが相互にガイドしあう新しいMKD方式を採用することで、MM-WHS 2017でSOTA性能を達成し、平均Diceスコアは0.8517を記録した。

ABSTRACT

The success of deep convolutional neural networks is partially attributed to the massive amount of annotated training data. However, in practice, medical data annotations are usually expensive and time-consuming to be obtained. Considering multi-modality data with the same anatomic structures are widely available in clinic routine, in this paper, we aim to exploit the prior knowledge (e.g., shape priors) learned from one modality (aka., assistant modality) to improve the segmentation performance on another modality (aka., target modality) to make up annotation scarcity. To alleviate the learning difficulties caused by modality-specific appearance discrepancy, we first present an Image Alignment Module (IAM) to narrow the appearance gap between assistant and target modality data.We then propose a novel Mutual Knowledge Distillation (MKD) scheme to thoroughly exploit the modality-shared knowledge to facilitate the target-modality segmentation. To be specific, we formulate our framework as an integration of two individual segmentors. Each segmentor not only explicitly extracts one modality knowledge from corresponding annotations, but also implicitly explores another modality knowledge from its counterpart in mutual-guided manner. The ensemble of two segmentors would further integrate the knowledge from both modalities and generate reliable segmentation results on target modality. Experimental results on the public multi-class cardiac segmentation data, i.e., MMWHS 2017, show that our method achieves large improvements on CT segmentation by utilizing additional MRI data and outperforms other state-of-the-art multi-modality learning methods.

研究の動機と目的

• 医療画像セグメンテーションにおけるアノテーション不足を解消するため、1つの画像モダリティ（例：MRI）からの事前知識を、別のモダリティ（例：CT）におけるセグメンテーション向上に活用すること。
• 異なるモダリティ間の外見的差異が、知識の効果的な転送を妨げるという課題を軽減すること。
• アシスタントモダリティのアノテーションを推論時に必要としない、自己教師ありでエンドツーエンドに最適化されたフレームワークを構築し、モダリティ共有の知識を最大限に活用すること。
• 相互蒸留メカニズムにより、両方向の知識転送を可能とし、一般化性能とロバスト性を向上させること。

提案手法

• 敵対的学習を用いて、アシスタントモダリティ画像（例：MRI）からターゲットモダリティ画像（例：合成CT）を生成する画像整合モジュール（IAM）を導入し、外見的ギャップを低減する。
• 二つのセグメンテーションモデルを用いた相互知識蒸留（MKD）スキームを設計。一方は実際のターゲットモダリティデータ（$S_{\text{real}}$）で、もう一方は合成ターゲットモダリティデータ（$S_{\text{syn}}$）で訓練され、相互に知識蒸留により相互にガイドする。
• 各セグメンテーションモデルは、自モダリティのアノテーションから明示的に学び、相手の予測から暗黙的に学ぶことで、クロスモダリティ特徴の知識転送を実現する。
• フレームワークはエンドツーエンドで訓練され、IAMはMKDプロセスからのフィードバックを受けて、合成画像の品質を段階的に向上させながら解剖学的形状の事前知識を保持する。
• 最終的なセグメンテーションは、$S_{\text{real}}$ と $S_{\text{syn}}$ のアンサンブルによって得られ、不一致する予測をバランスさせ、信頼性を向上させる。
• 本手法は両方向に適用可能であり、MRIを用いてCTを向上させるだけでなく、逆方向（CTをアシスタントとしてCTを改善）にも適用可能であり、双方向性を示している。

実験結果

リサーチクエスチョン

• RQ1 大きな外見的差異を示すマルチモダリティ医療画像から、モダリティ共有の知識を効果的に抽出・活用できるか。特に、リソースが限られたターゲットモダリティにおけるセグメンテーションを向上させられるか。
• RQ2 異なるモダリティで訓練された二つのセグメンテーションモデル間の相互ガイドによる特徴学習とセグメンテーションのロバスト性向上は、どのように実現されるか。
• RQ3 提案された画像整合モジュール（IAM）は、下流のセグメンテーションタスクにおける合成ターゲットモダリティ画像の品質をどの程度向上させるか。
• RQ4 相互知識蒸留スキームは、標準的なファインチューニングやジョイントトレーニングのベースラインを上回る性能を示すか。
• RQ5 本フレームワークは双方向に適用可能であり、アシスタントモダリティとターゲットモダリティを逆転させても、セグメンテーション性能が向上するか。

主な発見

• 提案手法は、MM-WHS 2017心臓セグメンテーションデータセットにおいて、平均Diceスコア0.8517を達成し、以前のSOTA手法を平均Diceスコア0.0142上回った。
• アンサンブルによる結果では、左心室（LV）のDiceスコアが0.8695に達し、ベースラインおよび他のSOTA手法を著しく上回った。
• MRIをアシスタントモダリティとして使用した場合、ベースライン比で平均Diceスコア2.74%向上し、Zhangら（2020）の手法比でも1.42%向上した。
• CTをアシスタントモダリティとして使用した場合でも、Zhangら（2020）の手法より平均Diceスコア0.91%高い性能を示し、本手法の双方向適用性を裏付けた。
• アブレーションスタディの結果、アシスタントモダリティデータ量の増加に伴い性能が向上し、より多くのデータが豊富な事前知識を提供することが示された。
• 定性的な結果から、アンサンブルモデルが個々のセグメンテーションモデルによる不一致予測を効果的に是正し、より信頼性が高く一貫性のあるセグメンテーション出力を得られることを示した。