[論文レビュー] {\Omega}-Net (Omega-Net): Fully Automatic, Multi-View Cardiac MR Detection, Orientation, and Segmentation with Deep Neural Networks

Davis M. Vigneault, Weidi Xie+3 more|arXiv (Cornell University)|Nov 3, 2017

Advanced Neural Network Applications参考文献 19被引用数 6

ひとこと要約

Ω-Netは、心筋マヒ画像の局所化、標準的姿勢変換、および3つの臨床的視点（短軸、4心腔、2心腔）における多クラスセグメンテーションを統合的に行う、新規なエンドツーエンドディープラーニングアーキテクチャである。初期セグメンテーションにはU-Netを用い、空間変換ネットワーク（STN）で回転・平行移動パラメータを予測し、変換後の画像に対して最終的なセグメンテーションヘッドを適用することで、HCMおよび健常者において重み付きIoUが0.858に達する最先端の性能を達成した。2017年ACDCデータセットにおいても、先行手法を上回った性能を示した。

ABSTRACT

Pixelwise segmentation of the left ventricular (LV) myocardium and the four cardiac chambers in 2-D steady state free precession (SSFP) cine sequences is an essential preprocessing step for a wide range of analyses. Variability in contrast, appearance, orientation, and placement of the heart between patients, clinical views, scanners, and protocols makes fully automatic semantic segmentation a notoriously difficult problem. Here, we present ${\Omega}$-Net (Omega-Net): a novel convolutional neural network (CNN) architecture for simultaneous localization, transformation into a canonical orientation, and semantic segmentation. First, an initial segmentation is performed on the input image, second, the features learned during this initial segmentation are used to predict the parameters needed to transform the input image into a canonical orientation, and third, a final segmentation is performed on the transformed image. In this work, ${\Omega}$-Nets of varying depths were trained to detect five foreground classes in any of three clinical views (short axis, SA, four-chamber, 4C, two-chamber, 2C), without prior knowledge of the view being segmented. The architecture was trained on a cohort of patients with hypertrophic cardiomyopathy and healthy control subjects. Network performance as measured by weighted foreground intersection-over-union (IoU) was substantially improved in the best-performing ${\Omega}$- Net compared with U-Net segmentation without localization or orientation. In addition, {\Omega}-Net was retrained from scratch on the 2017 MICCAI ACDC dataset, and achieves state-of-the-art results on the LV and RV bloodpools, and performed slightly worse in segmentation of the LV myocardium. We conclude this architecture represents a substantive advancement over prior approaches, with implications for biomedical image segmentation more generally.

研究の動機と目的

• 複数の臨床的視点において、心筋マヒ画像の局所化、方向正規化、および意味的セグメンテーションを同時に実行する完全自動的でエンドツーエンドのディープラーニングフレームワークの開発。
• 患者やスキャナによって異なる心臓の外観、姿勢、画像取得プロトコルの高さのばらつきに起因する課題の解決。
• 入力画像を最終セグメンテーションの前に標準的姿勢に変換することで、ネットワークの負担を軽減し、セグメンテーション精度を向上させること。
• 初期セグメンテーションと変換パラメータといった解釈可能な中間出力を予測させることで、モデルの透明性を高めること。
• プライベートなHCM／健常者コhortおよび公開の2017年ACDCデータセットの両方でアーキテクチャを検証し、強靭性と一般化性能を示すこと。

提案手法

• ネットワークは段階的アーキテクチャを採用：初期のU-Netが生の入力画像上で意味的セグメンテーションを実行し、粗いセグメンテーションを生成する。
• 初期U-Netの最もダウンサンプリングされた（中心部の）層からの特徴量を用い、空間変換ネットワーク（STN）により回転・平行移動パラメータを予測する。
• 予測されたパラメータを用いて、入力画像を標準的姿勢に変換し、再方向化された画像 I′ = T(I, M) を得る。
• スタックドアワーガラスモジュールが、変換後の画像 I′ に対して最終的な意味的セグメンテーションを実行し、標準的姿勢における精緻化されたセグメンテーション S′ を出力する。
• ネットワーク全体をスクラッチからエンドツーエンドで訓練し、局所化、変換、セグメンテーションヘッドの共同最適化を実施する。
• 事前視点情報なしに、3つの臨床的視点（短軸、4心腔、2心腔）で5つの前景クラス（左室筋線維、左室血流、右室血流、左房、右房）を認識できるようにアーキテクチャを訓練した。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、複数の臨床的視点において同時に局所化、方向正規化、および多クラス心筋マヒ画像セグメンテーションを実行可能か？
• RQ2 高い解剖学的および画像取得のばらつきが存在する状況下で、セグメンテーションの前に心筋マヒ画像を標準的姿勢に変換することで、セグメンテーション精度が向上するか？
• RQ3 中間セグメンテーションと空間変換ネットワークの予測を組み合わせた段階的アーキテクチャは、このようなモジュールを備えない標準的U-Netに比べて性能向上をもたらすか？
• RQ4 本手法は、病理的心臓形態を示す患者を含む多様な患者集団にどのように一般化するか？
• RQ5 2017年ACDCデータセットにおける本手法の性能は、心筋マヒ画像セグメンテーション分野における最先端手法と比較してどの程度の水準にあるか？

主な発見

• HCM／健常者コhortでは、最良の性能を示したΩ-Netは、重み付き前景の交差率（IoU）が0.858に達し、局所化や方向正規化の補正なしの標準的U-Net（0.834）を上回った。
• 2017年ACDCデータセットでスクラッチから再訓練した場合、左室（LV）および右室（RV）血流のセグメンテーションにおいて最先端の性能を達成した。
• ACDCデータセットにおける左室筋線維のセグメンテーションでは、わずかに最先端手法を下回ったが、このクラスにおける改善の余地があることを示した。
• 視点の事前知識なしに、3つの臨床的視点（短軸、4心腔、2心腔）で5つの心臓構造を正しく検出できたことから、強力な一般化性能を示した。
• 中間出力（初期セグメンテーションと変換パラメータ）は人間が解釈可能なインサイトを提供し、ディープラーニングモデルの「ブラックボックス」性を軽減した。
• 本アーキテクチャは、特にマルチビューおよび動き歪みを受ける画像処理シナリオにおいて、バイオメディカル画像セグメンテーション分野への広範な応用の可能性を示した。