[論文レビュー] Enforcing Mutual Consistency of Hard Regions for Semi-supervised Medical Image Segmentation.

Yicheng Wu, Zongyuan Ge+5 more|arXiv (Cornell University)|Sep 21, 2021

Advanced Neural Network Applications参考文献 29被引用数 4

ひとこと要約

本稿では、異なるアップサンプリング戦略を用いた複数のデコーダー間で相互一貫性を強制することで、ラベルなしのハード領域からの学習を向上させる半教師あり医療画像セグメンテーションモデルMC-Net+を提案する。デコーダー出力の統計的乖離を用いて不確実性を特定し、予測とソフトプシーローブルの間で相互一貫性制約を適用することで、MC-Net+は3つの公的医療画像データセットで最先端の性能を達成した。

ABSTRACT

In this paper, we proposed a novel mutual consistency network (MC-Net+) to effectively exploit the unlabeled hard regions for semi-supervised medical image segmentation. The MC-Net+ model is motivated by the observation that deep models trained with limited annotations are prone to output highly uncertain and easily mis-classified predictions in the ambiguous regions (e.g. adhesive edges or thin branches) for the image segmentation task. Leveraging these region-level challenging samples can make the semi-supervised segmentation model training more effective. Therefore, our proposed MC-Net+ model consists of two new designs. First, the model contains one shared encoder and multiple sightly different decoders (i.e. using different up-sampling strategies). The statistical discrepancy of multiple decoders' outputs is computed to denote the model's uncertainty, which indicates the unlabeled hard regions. Second, a new mutual consistency constraint is enforced between one decoder's probability output and other decoders' soft pseudo labels. In this way, we minimize the model's uncertainty during training and force the model to generate invariant and low-entropy results in such challenging areas of unlabeled data, in order to learn a generalized feature representation. We compared the segmentation results of the MC-Net+ with five state-of-the-art semi-supervised approaches on three public medical datasets. Extension experiments with two common semi-supervised settings demonstrate the superior performance of our model over other existing methods, which sets a new state of the art for semi-supervised medical image segmentation.

研究の動機と目的

• 薄い枝や接着縁などの曖昧な解剖的領域における予測の不確実性や誤分類の問題に対処すること。
• 通常の半教師あり学習で無視されがちな、ラベルなしのハード領域を効果的に活用することで、モデルの汎化性能を向上させること。
• 異なるアップサンプリング戦略を有する複数のデコーダー間で新たな相互一貫性制約を導入することで、困難な領域におけるモデルの不確実性を低減すること。
• ハードなラベルなし領域においてエントロピーが低く、不変な予測を促進する訓練フレームワークを構築し、より強固な特徴表現を生み出すこと。

提案手法

• 同じ入力に対して多様な予測を生成できるように、アップサンプリング戦略が異なる複数のデコーダーを共有エンコーダと組み合わせて使用する。
• モデルの不確実性は、複数のデコーダー出力間の統計的乖離（例：分散や発散）を計算することで定量化する。
• 1つのデコーダーの確率出力と、他のデコーダー出力から導出されたソフトプシーローブルとの間に、相互一貫性制約を強制する。
• この制約により、ハード領域における予測の不一致が最小化され、すべてのデコーダーで一貫性があり、エントロピーが低い予測が生成されるよう促される。
• 標準的なセグメンテーション損失と相互一貫性損失を組み合わせた訓練目的を用い、精度と不確実性低減の両方を同時に最適化する。
• このフレームワークはエンドツーエンドで訓練可能であり、医療画像分野におけるさまざまな半教師あり学習設定に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのハード領域における不確実性を活用することで、半教師あり医療画像セグメンテーションの性能が向上するか？
• RQ2 異なるアップサンプリング戦略を有する複数のデコーダー間で相互一貫性を強制することで、曖昧な解剖的領域における予測不確実性はどのように低減されるか？
• RQ3 提案された相互一貫性制約は、標準的なプシーローブル手法と比較して、より強固で汎化性の高い特徴表現を生み出すか？
• RQ4 MC-Net+は、公的医療画像セグメンテーションベンチマークにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• MC-Net+は3つの公的医療画像セグメンテーションデータセットで最先端の性能を達成し、5つの既存の半教師あり手法を上回った。
• 異なるデコーダー間での相互一貫性の強制により、薄い枝や接着縁などのハード領域における予測不確実性が顕著に低減された。
• 異なるアップサンプリング戦略を有する複数のデコーダーを用いることで、出力の統計的乖離を介して曖昧領域の特定がより効果的に行えるようになった。
• 拡張実験により、MC-Net+のロバストネスと汎化性が2つの一般的な半教師あり学習設定で確認された。
• 相互一貫性制約により、ラベルなしのハード領域における予測のエントロピーが効果的に低減され、より信頼性の高いプシーローブルが得られた。
• 限られたアノテーションデータでも、困難な解剖的構造において不変な表現を学習できるという点で、MC-Net+は優れた汎化性能を示した。