[論文レビュー] Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization

Ziqi Zhou, Lei Qi+3 more|arXiv (Cornell University)|Dec 21, 2021

Radiomics and Machine Learning in Medical Imaging被引用数 6

ひとこと要約

本論文では、スタイル拡張と二重正規化を用いて、異なる画像モダリティ間でモデルの頑健性を向上させるドメイン一般化手法を提案する。ソースに類似したスタイル拡張画像とソースに相違するスタイル拡張画像を生成し、スタイルベースの選択機構を備えた別々のバッチ正規化パスを用いることで、BraTS、Cardiac、Multi-Organデータセットにおいて最先端の性能を達成する。特に、MRIとCTの間で大きなドメインシフトを示す困難なクロスモダリティ設定において顕著な優位性を示す。

ABSTRACT

For medical image segmentation, imagine if a model was only trained using MR images in source domain, how about its performance to directly segment CT images in target domain? This setting, namely generalizable cross-modality segmentation, owning its clinical potential, is much more challenging than other related settings, e.g., domain adaptation. To achieve this goal, we in this paper propose a novel dual-normalization model by leveraging the augmented source-similar and source-dissimilar images during our generalizable segmentation. To be specific, given a single source domain, aiming to simulate the possible appearance change in unseen target domains, we first utilize a nonlinear transformation to augment source-similar and source-dissimilar images. Then, to sufficiently exploit these two types of augmentations, our proposed dual-normalization based model employs a shared backbone yet independent batch normalization layer for separate normalization. Afterward, we put forward a style-based selection scheme to automatically choose the appropriate path in the test stage. Extensive experiments on three publicly available datasets, i.e., BraTS, Cross-Modality Cardiac, and Abdominal Multi-Organ datasets, have demonstrated that our method outperforms other state-of-the-art domain generalization methods. Code is available at https://github.com/zzzqzhou/Dual-Normalization.

研究の動機と目的

• MRIとCTのような画像モダリティ間で生じるドメインシフトの課題に対処すること。
• トレーニング中にターゲットデータにアクセスできない状況下でも、未観測のターゲットドメインに一般化できるドメイン一般化手法を開発すること。
• プライバシー制約やデータ不足のため、臨床現場でターゲットドメインデータが入手不能となる現実世界の設定において、モデルの頑健性を向上させること。
• 類似および相違するスタイル拡張を効果的に活用し、特徴の一般化を向上させる手法を設計すること。

提案手法

• Bézier曲線を用いてスタイル拡張画像を生成し、それらをソースに類似するドメインとソースに相違するドメインに分割することで、未観測のターゲットドメインの変動を模擬する。
• 共通のバックボーンを有するが、ソースに類似するおよび相違する拡張特徴のための独立したバッチ正規化層を持つ二重正規化モジュールを導入する。
• 両方の正規化パスのための特徴統計を抽出するスタイル埋め込みネットワークを採用し、推論時に動的パス選択を可能にする。
• 推論時に、ターゲット画像のスタイル埋め込みに基づいて最適な正規化パスを選択するスタイルベースの選択機構を適用する。
• クロスエントロピー損失と一貫性損失を用いて、拡張ビュー間の予測を整合させるために、エンドツーエンドでモデルを訓練する。
• 単一のソースドメインでのトレーニング設定を採用し、再トレーニングなしに未観測のターゲットモダリティに直接適用可能である。

実験結果

リサーチクエスチョン

• RQ1 T2強調MRIなどの単一ソースモダリティでトレーニングされたモデルが、T1強調MRIやCTなどの未観測ターゲットモダリティに、ターゲットデータにアクセスできない状況下でも効果的に一般化できるか？
• RQ2 スタイル拡張は、クロスモダリティ医療画像で観察される外見的変動を効果的に模擬できるか？
• RQ3 ソースに類似するおよび相違する拡張データのための二重独立正規化パスを用いることで、単一パスまたはアンサンブル手法と比較して一般化性能が向上するか？
• RQ4 推論時に多様なターゲットドメインのスタイルに適応するためのスタイルベースのパス選択機構は、どの程度効果的か？
• RQ5 提案手法は、困難なクロスモダリティセグメンテーションベンチマークにおいて、既存のドメイン一般化およびドメイン適応手法を上回る性能を示せるか？

主な発見

• BraTSデータセットでは、クロスモダリティ脳腫瘍セグメンテーションにおいて平均Diceスコア50.1%を達成し、ベースライン手法「DeepAll」(30.6%)および「DoFE」(40.0%)を顕著に上回った。
• クロスモダリティ心臓データセットでは、平均Diceスコア84.2%を達成し、未観測の心臓MRIおよびCTスキャンへの一般化性能が優れていることを示した。
• Abdominal Multi-Organデータセットでは、平均Diceスコア83.7%を達成し、多様な解剖的構造および画像コントラストに対しても有効であることを確認した。
• アブレーションスタディの結果、スタイルベースのパス選択機構が、個別のパスおよびアンサンブル予測を上回る頑健性を向上させた。
• Bézier曲線の制御点ペア数（1～5）の異なる設定においても、一貫した性能を維持しており、拡張ハイパーパrameterに対して安定で、感受性が低いことが示された。
• クロスセンター前立腺セグメンテーションタスクでは、Diceスコア84.19%を達成し、クロスモダリティ一般化に最適化されているにもかかわらず、競争力のある性能を示した。