[論文レビュー] Real-time Deep Registration With Geodesic Loss.

Seyed Sadegh Mohseni Salehi, Shadab Khan+2 more|arXiv (Cornell University)|Mar 15, 2018

Fetal and Pediatric Neurological Disorders参考文献 25被引用数 18

ひとこと要約

本稿では、3次元回転（回転角）と並進（移動量）を角度軸表現で予測する回帰畳み込みニューラルネットワーク（CNN）を用いた、リアルタイムな深層学習手法を提案する。地図的損失（geodesic loss）を導入することで、精度とキャプチャレンジ（捕捉範囲）が著しく向上する。本手法は胎児および新生児の脳MRIにおいて100ms未塔の推論を達成し、条件付き生成対抗ネットワーク（cGAN）を用いたドメイン適応により、画像コントラストの多様性に対しても一般化可能であり、最適化ベースの登録パイプラインの性能向上にも寄与する。

ABSTRACT

With an aim to increase the capture range and accelerate the performance of state-of-the-art inter-subject and subject-to-template 3D registration, we propose deep learning-based methods that are trained to find the 3D position of arbitrarily oriented subjects or anatomy based on slices or volumes of medical images. For this, we propose regression CNNs that learn to predict the angle-axis representation of 3D rotations and translations using image features. We use and compare mean square error and geodesic loss for training regression CNNs in two different scenarios: 3D pose estimation from slices and 3D to 3D registration. As an exemplary application, we applied the proposed methods to register arbitrarily oriented reconstructed images of fetuses scanned in-utero at a wide gestational age range to a standard atlas space. Our results show that in such registration applications that are amendable to learning, the proposed deep learning methods with geodesic loss minimization can achieve accurate results with a wide capture range in real-time (<100ms). We tested the generalization capability of the trained CNNs on an expanded age range and on images of newborn subjects with similar and different MR image contrasts. We trained our models on T2-weighted fetal brain MRI scans and used them to predict the 3D position of newborn brains based on T1-weighted MRI scans. We showed that trained models generalized well for the new domain when we performed image contrast transfer through a conditional generative adversarial network. This indicates that the domain of application of the trained deep regression CNNs can be further expanded to image modalities and contrasts other than those used in training. A combination of our proposed methods with optimization-based registration algorithms can dramatically enhance the performance of automatic imaging devices and image processing methods of the future.

研究の動機と目的

• 医療画像分野における最新の被験者間および被験者-テンプレート3次元登録手法の、限られたキャプチャレンジと遅い処理速度を解決すること。
• 任意の方向を向いた解剖的構造に対して、2次元スライスまたは3次元ボリュームからリアルタイムかつ高精度に3次元ポーズ推定を可能にすること。
• 条件付き生成対抗ネットワーク（cGAN）を活用したドメイン適応により、多様な画像コントラストや年齢範囲に対しても一般化を向上させること。
• 地図的損失が3次元登録における回転および並進パラメータの学習において、平均二乗誤差（MSE）を上回ることを示すこと。
• 学習された初期値を最適化ベースの登録パイプラインに統合し、将来の自動画像診断システムの性能を向上させること。

提案手法

• 入力医療画像から3次元回転と並進の角度軸表現を回帰する畳み込みニューラルネットワーク（CNN）を訓練する。
• 回転および並進の精度を最適化するために、平均二乗誤差（MSE）と地図的損失の両方を用いて訓練を比較する。
• 2次元スライスからの3次元ポーズ推定および3次元ボリューム同士の登録タスクに、モデルを適用する。
• 条件付き生成対抗ネットワーク（cGAN）を用いて、T2強調胎児MRIの画像コントラストをT1強調新生児MRIに変換し、ドメイン一般化を実現する。
• 深層回帰の予測結果を最適化ベースの登録パイプラインの初期推定値として統合し、収束速度と精度を向上させる。
• 広い胎齢範囲の胎内MRIおよび異なるコントラストを持つ新生児T1強調スキャンに対して、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 平均二乗誤差（MSE）と比較して、地図的損失は、医療画像登録における深層学習ベースの3次元ポーズ推定の精度とキャプチャレンジをどのように向上させるか？
• RQ2 T2強調胎児脳MRIで学習したCNNが、異なる画像コントラストを持つT1強調新生児脳MRIにどの程度一般化可能か？
• RQ3 深層回帰と最適化ベースの登録を組み合わせることで、全体の登録性能はどの程度向上するか？
• RQ4 条件付きGANを用いることで、画像コントラストの転送が成功し、訓練済みの回帰モデルのドメイン適用範囲を拡張できるか？
• RQ5 本手法の推論速度はどの程度で、臨床応用に向けたリアルタイム性能（100ms未塔）を達成できるか？

主な発見

• 提案手法は100ms未塔の推論時間でリアルタイム性能を達成し、臨床ワークフローへの実用的導入が可能である。
• 地図的損失を用いることで、特に回転成分において、平均二乗誤差（MSE）に比べて登録精度とキャプチャレンジが顕著に向上する。
• 条件付きGANを用いた画像変換と組み合わせることで、異なるコントラストを持つ新生児脳MRIスキャンに対しても、CNNの一般化性能が良好に維持される。
• トレーニング分布を越えた広い年齢範囲でテストした際も、高い精度を維持しており、強力なロバストネスを示している。
• 学習された初期値を最適化ベースの手法に統合することで、収束が速くなり、最終的な登録精度も向上する。
• 本手法は画像モodalの間でも移植性を示しており、訓練データに限定されない広範な応用可能性を示唆している。