[論文レビュー] Unsupervised End-to-end Learning for Deformable Medical Image Registration

Siyuan Shan, Yan Wen+4 more|arXiv (Cornell University)|Nov 23, 2017

Medical Image Segmentation Techniques参考文献 3被引用数 37

ひとこと要約

本稿では、画像特徴量と変形場を同時に学習する完全畳み込みニューラルネットワークを用いた、教師なしでエンドツーエンドの深層学習フレームワークを、可変的医療画像登録に提案する。この手法は2次元脳登録で最先端の性能を達成し、従来手法に比べ100倍速く推論が可能であり、ラベルなしデータを追加で学習に用いることで約10%の性能向上を達成する。

ABSTRACT

We propose a registration algorithm for 2D CT/MRI medical images with a new unsupervised end-to-end strategy using convolutional neural networks. The contributions of our algorithm are threefold: (1) We transplant traditional image registration algorithms to an end-to-end convolutional neural network framework, while maintaining the unsupervised nature of image registration problems. The image-to-image integrated framework can simultaneously learn both image features and transformation matrix for registration. (2) Training with additional data without any label can further improve the registration performance by approximately 10 %. (3) The registration speed is 100x faster than traditional methods. The proposed network is easy to implement and can be trained efficiently. Experiments demonstrate that our system achieves state-of-the-art results on 2D brain registration and achieves comparable results on 2D liver registration. It can be extended to register other organs beyond liver and brain such as kidney, lung, and heart.

研究の動機と目的

• ラベル付き変形場やセグメンテーションマスクを一切必要としない、教師なしでエンドツーエンドの深層学習フレームワークを、可変的医療画像登録に開発すること。
• 単一の完全畳み込みネットワークアーキテクチャ内で、画像特徴抽出と変形場予測を同時に最適化できるようにすること。
• 手動によるラベル付けが高コストであるため、ラベルなしデータのみを用いて登録精度を向上させること。
• 臨床応用に適したリアルタイムの推論速度を達成し、従来の反復的アルゴリズムを著しく上回ること。

提案手法

• 本手法は、固定画像と移動画像のペアを入力とし、密な変形場を直接出力する完全畳み込みニューラルネットワーク（FCN）を採用する。
• 得られた変形場を用いて双線形補間用のサンプリンググリッドを生成し、移動画像を固定画像にワープする。
• 写真的損失（photometric loss）を、ワープされた移動画像と固定画像とのL2差分として計算し、教師なしでバックプロパゲーションを可能にする。
• 解剖学的境界を保つために、エッジに敏感な滑らかさ損失（edge-aware smoothness loss）を導入する。
• セグメンテーションマスクやオプティカルフローのラベルなしで、画像ペアのみを用いてエンドツーエンドで学習する。
• 追加のラベルなしデータを学習中に用いることで、性能をさらに向上させ、教師なし戦略の強靭性を示す。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし変形場やセグメンテーションマスクが一切ない状況下でも、完全畳み込みニューラルネットワークをエンドツーエンドで訓練し、教師なしの可変的画像登録を実現できるか？
• RQ2 追加のラベルなしデータを含めることで、教師なし登録ネットワークの性能にどのような影響を与えるか？
• RQ3 提案手法は、監視なしで2次元脳および肝臓画像データセットにおいて最先端の登録精度を達成できるか？
• RQ4 標準的な滑らかさ正則化と比較して、提案されたエッジに敏感な滑らかさ損失は、登録品質をどの程度向上させるか？
• RQ5 本手法の推論速度は、ITK や ANTs などの従来の反復的登録アルゴリズムと比較してどの程度高速化されるか？

主な発見

• 提案された教師なし手法は、2次元脳登録で最先端の性能を達成し、PE w/ mask および追加のラベルなしデータを用いた場合の平均ターゲット登録誤差（Dist）は3.31 mmであった。
• 追加のラベルなしデータで学習することで性能が約10%向上し、自己教師付きデータ拡張の有効性を示した。
• 従来の反復的手法に比べ100倍高速であり、1ケースあたりの推論時間は約0.094秒で、ITK や ANTs が数分を要するのと比べ顕著に高速であった。
• 領域オブインタレスト（ROI）セグメンテーションモジュールの導入により、肝臓画像の登録精度が向上したが、脳画像では背景ノイズが低いためその恩恵は小さかった。
• 本手法は脳および肝臓を越えて一般化が可能であり、腎臓、肺、心臓などの他の臓器への応用も見込まれる。
• アブレーションスタディにより、エッジに敏感な滑らかさ損失が解剖学的境界を保ちながら登録品質を向上させることを確認した。