[論文レビュー] Learning Morphological Feature Perturbations for Calibrated Semi-Supervised Segmentation

Moucheng Xu, Yukun Zhou+7 more|arXiv (Cornell University)|Mar 19, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 5

ひとこと要約

本稿では、分類の整合性を重視した半教師ありセグメンテーションフレームワークであるMisMatchを提案する。本手法は、正例および負例の注目メカニズムを用いて、形態的特徴の摂動を学習することで、モデルのキャリブレーションを向上させる。特徴量に対して微分可能な膨張および収縮に類似した操作を適用することにより、ラベル付きデータがたった10%の状況でも、CTおよびMRI画像のセグメンテーションタスクで最先端の性能を達成し、完全教師ありベースラインを精度およびキャリブレーションの両面で上回った。

ABSTRACT

We propose MisMatch, a novel consistency-driven semi-supervised segmentation framework which produces predictions that are invariant to learnt feature perturbations. MisMatch consists of an encoder and a two-head decoders. One decoder learns positive attention to the foreground regions of interest (RoI) on unlabelled images thereby generating dilated features. The other decoder learns negative attention to the foreground on the same unlabelled images thereby generating eroded features. We then apply a consistency regularisation on the paired predictions. MisMatch outperforms state-of-the-art semi-supervised methods on a CT-based pulmonary vessel segmentation task and a MRI-based brain tumour segmentation task. In addition, we show that the effectiveness of MisMatch comes from better model calibration than its supervised learning counterpart.

研究の動機と目的

• 半教師ありセグメンテーションにおける専門家によるアノテーション済み医療画像データの不足を解消し、ラベル付けの必要を減らす。
• セグメンテーションにおける画素レベルの低密度領域の欠如により失敗する、画像レベルの整合性正則化の限界を克服する。
• 臨床的信頼性の観点から極めて重要な、半教師あり学習におけるモデルキャリブレーションを向上させる。
• 微分可能なエンドツーエンドフレームワークを構築し、膨張／収縮に類似した操作を模倣する意味のある特徴摂動を学習することで、一般化性能を向上させる。
• 形態的摂動に従って誘導される特徴レベルの整合性正則化が、従来手法に比べてより優れたセグメンテーション性能とキャリブレーションを実現することを示す。

提案手法

• フレームワークは二重ヘッドデコーダを採用する。一方のヘッドは前景領域に対して正例注目を適用して膨張した特徴を学習し、他方のヘッドは負例注目を適用して収縮した特徴を学習する。
• 二つのデコーダは同じ未ラベル付き画像に対してペアで予測を出力し、摂動を加えた特徴表現間の整合性正則化を可能にする。
• 形態的特徴摂動は、微分可能な注目メカニズムを用いてエンドツーエンドで学習され、非微分可能な古典的形態的演算を回避する。
• 二つのデコーダ出力間の平均二乗誤差を用いて整合性損失を計算し、特徴レベルの摂動に対して予測が不変になるようモデルを促進する。
• ハイパーパrameter α が、教師あり損失と整合性損失の間のトレードオフを制御する重み付き整合性損失でモデルを訓練する。
• モデルキャリブレーションは信頼性図と期待キャリブレーション誤差（ECE）を用いて評価され、ECEが低いほど予測の信頼度と正答率の整合性が高くなる。

実験結果

リサーチクエスチョン

• RQ1 微分可能な形態的摂動を用いた特徴レベルの整合性正則化は、画像レベルの増幅を上回る半教師あり医療画像セグメンテーション性能を向上させることができるか？
• RQ2 膨張および収縮の操作を模倣する摂動を学習することは、標準的なデータ増幅に比べてより優れたモデルキャリブレーションをもたらすか？
• RQ3 注目に基づく特徴摂動を用いた整合性駆動型フレームワークは、ラベル付きデータがたった10%の状況でも、完全教師ありモデルと同等の性能を達成できるか？
• RQ4 提案手法は、最先端の半教師ありおよび完全教師ありベースラインと比較して、キャリブレーションおよびセグメンテーション精度の両面で優れているか？
• RQ5 なぜ画像レベルではなく特徴レベルでの整合性正則化が、セグメンテーションタスクにおける意思決定境界の局所化を改善するのか？

主な発見

• MisMatchは、ラベル付きデータがたった10%の状況でも、CARVE肺血管セグメンテーションデータセットで平均交差率（IoU）75%を達成し、100%のラベル付きデータで学習した完全教師ありモデルの77%に非常に近い性能を示した。
• BraTS脳腫瘍セグメンテーションタスクでは、MisMatchが最先端の半教師あり手法を上回り、限られた監視情報下でも優れた一般化性能を示した。
• 信頼性図における信頼度と正答率の整合性が高く、期待キャリブレーション誤差（ECE）が低く、完全教師ありモデルよりも顕著に優れたキャリブレーションを示した。
• アブレーションスタディの結果、正例および負例の注目ヘッドを併用した二重デコーダアーキテクチャ（MisMatch）が、10回の交差検証のうち8回で、片方の摂動タイプのみまたは摂動なしのバリアントを上回った。
• 整合性損失の最適なハイパーパrameter α は0.002であった。これは、教師ありと整合性の両目的を効果的にバランスさせることが確認された。
• 信頼性図では、MisMatchの予測は、信頼度の各区間において、信頼度と正答率の差が小さく、臨床現場での信頼性がより高いことが示された。