[論文レビュー] Anatomically-aware Uncertainty for Semi-supervised Image Segmentation

Sukesh Adiga V, José Dolz+1 more|arXiv (Cornell University)|Oct 24, 2023

Advanced X-ray and CT Imaging被引用数 5

ひとこと要約

本稿では、1回の推論で不確実性推定を実行するように、全身的な解剖的表現を用いて不確実性推定をガイドする、解剖学的に注意を払った不確実性推定手法を提案する。この手法により、心エコーMRIおよび腹部CTデータセットにおいて、最先端の手法と比較して計算コストを低減しつつ、セグメンテーションの正確性を向上させる。

ABSTRACT

Semi-supervised learning relaxes the need of large pixel-wise labeled datasets for image segmentation by leveraging unlabeled data. A prominent way to exploit unlabeled data is to regularize model predictions. Since the predictions of unlabeled data can be unreliable, uncertainty-aware schemes are typically employed to gradually learn from meaningful and reliable predictions. Uncertainty estimation methods, however, rely on multiple inferences from the model predictions that must be computed for each training step, which is computationally expensive. Moreover, these uncertainty maps capture pixel-wise disparities and do not consider global information. This work proposes a novel method to estimate segmentation uncertainty by leveraging global information from the segmentation masks. More precisely, an anatomically-aware representation is first learnt to model the available segmentation masks. The learnt representation thereupon maps the prediction of a new segmentation into an anatomically-plausible segmentation. The deviation from the plausible segmentation aids in estimating the underlying pixel-level uncertainty in order to further guide the segmentation network. The proposed method consequently estimates the uncertainty using a single inference from our representation, thereby reducing the total computation. We evaluate our method on two publicly available segmentation datasets of left atria in cardiac MRIs and of multiple organs in abdominal CTs. Our anatomically-aware method improves the segmentation accuracy over the state-of-the-art semi-supervised methods in terms of two commonly used evaluation metrics.

研究の動機と目的

• 既存の半教師あり医療画像セグメンテーションにおける不確実性推定手法の高い計算コストと、限られた解剖的文脈の欠如を解決すること。
• 局所的なピクセル単位の分散に依存するのではなく、グローバルな解剖的構造情報を取り入れることで、セグメンテーションの性能を向上させること。
• マルチフォワードパス（例：モンテカルロドロップアウト）を必要としないため、不確実性推定にための1つの妥当な解剖的表現を学習することで、推論回数を削減すること。
• 高勾配エッジに注目するのではなく、曖昧な境界線やアノテーターによるカット領域といった臨床的に意味のある領域を強調する、より信頼性の高い不確実性マップを生成すること。
• 推論のオーバーヘッドを最小限に抑えつつ、セグメンテーションの正確性を維持または向上させることで、効率的かつスケーラブルな半教師あり学習を可能にすること。

提案手法

• 深層オートエンコーダーに類似したアーキテクチャを用いて、正解セグメンテーションマスクの集合から解剖学的に注意を払った表現を学習する。
• モデルの予測値をその解剖学的表現にマッピングし、解剖学的に妥当なセグメンテーションを生成する。予測値と妥当なマスクとの乖離が不確実性を示す。
• 予測値と妥当なセグメンテーションとの間のL2距離をピクセル単位の不確実性の代理として用い、1回のフォワードパスで計算する。
• 不確実性マップを一貫性正則化損失を通じて学習目的関数に統合し、セグメンテーションネットワークが信頼性の高い領域に注目するように誘導する。
• 解剖学的に注意を払った不確実性を動的重み付けメカニズムとして用いた、メアンテイチャーフレームワークを採用する。
• 解剖的表現の潜在空間にノイズを注入することで、妥当なセグメンテーションマッピングのロバスト性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グローバルな解剖的表現は、局所的なピクセル単位の分散を超えて、半教師あり医療画像セグメンテーションにおける不確実性推定を改善できるか？
• RQ2 解剖学的妥当性に基づく1回の推論による不確実性推定手法は、エントロピーに基づくマルチインフェレンス手法と比較して、正確性と効率性の両面で優れているか？
• RQ3 解剖学的に注意を払った不確実性は、高勾配エッジに注目するのではなく、曖昧な境界線やアノテーター固有のカット領域といった臨床的に関連のある領域をよりよく強調できるか？
• RQ4 異なるラベルが少ない状況（例：10%および20%のラベル付きデータ）において、解剖学的に注意を払った不確実性の統合がセグメンテーション性能に与える影響は何か？
• RQ5 異なる画像モodalitiyやデータセットからのデータを用いて、解剖的表現を一般化または強化できる程度はどの程度か？

主な発見

• 提案手法は、心エコーMRIにおける左房およびCTデータセットにおける腹部臓器において、DiceスコアおよびHD95スコアの両面で最先端の性能を達成し、既存の半教師あり手法を上回る。
• 不確実性推定に1回の推論で十分であるため、MCDOやアンサンブルベースの手法と比較して、計算コストを著しく低減している。
• 提案手法が生成する不確実性マップは、曇った解剖的境界線やアノテーター固有のカット領域（例：肺静脈）といった挑戦的な領域に局在しており、高勾配エッジに注目するのではなく、臨床的意義のある領域を強調している。
• アブレーションスタディの結果、解剖的表現の潜在空間にノイズを注入することで、セグメンテーションの正確性が向上しており、分布シフトに対してロバストであることが示された。
• 解剖学的に注意を払った表現は画像の内容に依存せず、多様なデータセットからの追加のセグメンテーションマスクで強化可能であるため、マルチモodalitiyへの一般化の可能性を示している。
• 限られたラベル付きデータでも優れた性能を維持しており、低監視状態でも強力な一般化性能を示している。