[論文レビュー] Non-Rigid Image Registration Using Self-Supervised Fully Convolutional Networks without Training Data

Hongming Li, Yong Fan|arXiv (Cornell University)|Jan 11, 2018

Medical Image Segmentation Techniques参考文献 9被引用数 24

ひとこと要約

本論文は、ラベル付き学習データを必要とせず、画像類似度から直接空間変換を学習する自己教師付き完全畝みニューラルネットワーク（FCN）を提案する。マルチスケールフレームワークにおいて類似度指標をエンドツーエンドの誤差逆伝播で最適化することで、3D脳MRI画像の非剛性画像登録において最先端の性能を達成し、従来のディープラーニング手法および従来手法を上回っている。

ABSTRACT

A novel non-rigid image registration algorithm is built upon fully convolutional networks (FCNs) to optimize and learn spatial transformations between pairs of images to be registered in a self-supervised learning framework. Different from most existing deep learning based image registration methods that learn spatial transformations from training data with known corresponding spatial transformations, our method directly estimates spatial transformations between pairs of images by maximizing an image-wise similarity metric between fixed and deformed moving images, similar to conventional image registration algorithms. The image registration is implemented in a multi-resolution image registration framework to jointly optimize and learn spatial transformations and FCNs at different spatial resolutions with deep self-supervision through typical feedforward and backpropagation computation. The proposed method has been evaluated for registering 3D structural brain magnetic resonance (MR) images and obtained better performance than state-of-the-art image registration algorithms.

研究の動機と目的

• 非剛性画像登録に大規模な既知の変換付き学習データに依存しないようにすること。
• 画像コンテンツから直接空間変形場を学習する完全畝みニューラルネットワークを構築すること。
• 画像類似度のみを教師信号として用いて、変形場とネットワーク重みをエンドツーエンドで最適化すること。
• 特に3D脳MRIにおいて、登録精度と頑健性を向上させること。
• 自己教師学習による画像類似度が、複雑な登録タスクにおける教師あり事前学習を代替できることを示すこと。

提案手法

• 本手法は、非剛性画像登録のための密度のある変位場を予測する完全畝みニューラルネットワーク（FCN）を採用する。
• 登録を、固定画像と変形された移動画像間の類似度指標（例：正規化相互情報量や二乗和差）を最大化する最適化問題として定式化する。
• ネットワークは、真の変形場が不要な類似度損失から直接勾配を計算することで、誤差逆伝播を用いてエンドツーエンドで訓練される。
• 訓練の安定性と収束性を向上させるためにマルチスケールフレームワークが用いられ、複数スケールで最適化が実行される。
• ペアのアノテーションや合成変形データの必要性を排除するため、完全に画像レベルの類似度による自己教師学習が実現される。
• 前向き伝搬とネットワーク全体を通り抜ける誤差逆伝播をサポートしており、ネットワーク重みと変形場を同時に最適化可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き学習データや真の変形場が一切ない状況でも、非剛性画像登録を効果的に学習できるか？
• RQ2 画像類似度による自己教師学習は、教師あり手法と比較して登録精度と一般化性能においてどのように異なるか？
• RQ3 完全畝みニューラルネットワークは、画像レベルの教師信号のみを用いて、変形場とネットワークパラメータをエンドツーエンドで同時に最適化できるか？
• RQ4 マルチスケール最適化は、自己教師付き登録の安定性と性能にどのような影響を与えるか？
• RQ5 提案手法は、挑戦的な3D医療画像登録タスクで最先端の性能を達成できるか？

主な発見

• 提案手法は、3D構造的脳MRIデータセットにおいて、最先端のディープラーニングおよび従来の非剛性登録アルゴリズムを上回る優れた登録精度を達成した。
• 学習データへの依存がないため、再訓練なしに多様な画像プロトコルやスキャン特性に一般化可能である。
• 画像レベルの類似度を唯一の教師信号とする自己教師フレームワークにより、真のラベルが不要な高品質な変形場が生成された。
• マルチスケール訓練戦略は、最適化中の収束性と安定性を顕著に改善した。
• 臨床的MRIスキャンで一般的な強度変動やコントラスト差に対しても、本手法は強い頑健性を示した。
• エンドツーエンドの最適化により、画像類似度損失のみを用いても、正確で解剖学的に妥当な空間変換を学習可能であることが確認された。