[論文レビュー] Simultaneous synthesis of FLAIR and segmentation of white matter hypointensities from T1 MRIs

Mauricio Orbes‐Arteaga, M. Jorge Cardoso+5 more|arXiv (Cornell University)|Aug 20, 2018

Medical Image Segmentation Techniques参考文献 17被引用数 19

ひとこと要約

本論文では、T1強調MR画像から同時にFLAIR画像を合成し、白質高信号病変（WMH）をセグメンテーションする共同ディープラーニングフレームワークを提案する。ジェネレータと分類器を共有最適化でエンドツーエンド訓練することで、画像のリアルさとセグメンテーション精度の両方を向上させ、合成FLAIR画像の品質（PSNR: 11.01 対 9.65）を向上させるとともに、T1画像のみを用いたセグメンテーションにおける誤検出数を低減した。

ABSTRACT

Segmenting vascular pathologies such as white matter lesions in Brain magnetic resonance images (MRIs) require acquisition of multiple sequences such as T1-weighted (T1-w) --on which lesions appear hypointense-- and fluid attenuated inversion recovery (FLAIR) sequence --where lesions appear hyperintense--. However, most of the existing retrospective datasets do not consist of FLAIR sequences. Existing missing modality imputation methods separate the process of imputation, and the process of segmentation. In this paper, we propose a method to link both modality imputation and segmentation using convolutional neural networks. We show that by jointly optimizing the imputation network and the segmentation network, the method not only produces more realistic synthetic FLAIR images from T1-w images, but also improves the segmentation of WMH from T1-w images only.

研究の動機と目的

• WMHセグメンテーションのためのレトロスペクティブMRIデータセットにおけるFLAIRシーケンスの限られた可用性に対処すること。
• FLAIR画像の合成とWMHセグメンテーションを別々で順次処理するアプローチの限界を克服すること。
• 共同学習中にFLAIRを監視信号として活用することで、T1画像のみを用いたセグメンテーション性能を向上させること。
• 構造的詳細と病変パターンを保持した、より現実的な合成FLAIR画像を生成すること。
• L2ベースの最適化を用いて、合成画像における画像忠実度と病変感受性のバランスをとること。

提案手法

• T1強調入力を用いて合成FLAIR画像を生成するジェネレータネットワークGを備えたデュアルストリームCNNフレームワークをエンドツーエンドで訓練する。
• セグメンテーションネットワークCは、Gと共同で訓練され、実際のT1画像と生成されたFLAIR画像の両方を入力とすることで、WMHのセグメンテーションを向上させる。
• 分類器の損失関数は交差エントロピーとL2ベースの再構成損失を組み合わせており、ジェネレータは生成画像におけるセグメンテーション誤差を最小化するように最適化される。
• ジェネレータはL2（MSE）損失を用いて最適化され、生成画像の構造的詳細を保持し、GANベース手法で一般的なぼかしを回避する。
• ジェネレータと分類器の最適化を交互に実行することで、共有勾配を通じて相互に改善が図られる。
• 本フレームワークは、WMHセグメンテーションチャレンジ2017データセットを用いて評価され、共同学習とオフライン合成・分離学習を比較した。

実験結果

リサーチクエスチョン

• RQ1 FLAIR画像の合成とWMHセグメンテーションを共同で最適化することで、T1画像のみのMRIスキャンにおけるセグメンテーション精度が向上するか？
• RQ2 ジェネレータと分類器をエンドツーエンドで訓練することで、オフライン合成に比べてより現実的な合成FLAIR画像が得られるか？
• RQ3 ジェネレータにL2損失を用いることで、敵対的訓練に比べて画像品質と病変検出可能性にどのような影響を与えるか？
• RQ4 共同フレームワークは、T1画像では明確に見えにくい小規模で広範囲にわたる白質高信号病変をよりよく捉えることができるか？
• RQ5 独立した合成とセグメンテーションパイプラインに比べ、共有最適化がWMHセグメンテーションにおける誤検出数と誤検出数をどの程度低減できるか？

主な発見

• 提案手法は、合成FLAIR画像に対してPSNRが11.01を達成したのに対し、オフライン合成では9.65にとどまり、有意に高い値を示した。
• 提案手法の平均絶対誤差（MAE）は0.2566であり、ベースライン手法のMAE 0.3153を上回った。
• 定性的な分析から、提案手法は特に図4の緑色で示された領域において、小規模で広範囲の病変をよりよく保持していることが明らかになった。ベースライン手法ではこれらの病変が見逃されていた。
• 共同学習戦略により、T1画像のみを用いたセグメンテーションにおける過剰セグメンテーションと誤検出数が低減され、全体の精度が向上した。
• 共同学習中にFLAIRを監視信号として活用することで、実際のFLAIRスキャンがなくても病変感受性が向上することが示された。
• L2損失のぼかし傾向にもかかわらず、本手法は画像のシャープネスと構造的忠実度の良好なトレードオフを達成し、GANベースの代替手法に比べて病変検出性能が優れていた。