[論文レビュー] Non-rigid image registration using fully convolutional networks with deep self-supervision

Hongming Li, Yong Fan|arXiv (Cornell University)|Sep 4, 2017

Medical Image Segmentation Techniques参考文献 17被引用数 74

ひとこと要約

本論文は、完全畳み込みネットワーク（FCN）アプローチを用いた非剛性画像登録を提案し、マルチ解像度フレームワーク内で深い自己教師付きによって、画像ペア間の空間変換を直接推定する。

ABSTRACT

We propose a novel non-rigid image registration algorithm that is built upon fully convolutional networks (FCNs) to optimize and learn spatial transformations between pairs of images to be registered. Different from most existing deep learning based image registration methods that learn spatial transformations from training data with known corresponding spatial transformations, our method directly estimates spatial transformations between pairs of images by maximizing an image-wise similarity metric between fixed and deformed moving images, similar to conventional image registration algorithms. At the same time, our method also learns FCNs for encoding the spatial transformations at the same spatial resolution of images to be registered, rather than learning coarse-grained spatial transformation information. The image registration is implemented in a multi-resolution image registration framework to jointly optimize and learn spatial transformations and FCNs at different resolutions with deep self-supervision through typical feedforward and backpropagation computation. Since our method simultaneously optimizes and learns spatial transformations for the image registration, our method can be directly used to register a pair of images, and the registration of a set of images is also a training procedure for FCNs so that the trained FCNs can be directly adopted to register new images by feedforward computation of the learned FCNs without any optimization. The proposed method has been evaluated for registering 3D structural brain magnetic resonance (MR) images and obtained better performance than state-of-the-art image registration algorithms.

研究の動機と目的

• 深層学習を用いて、画像ペア間の空間変換を直接推定する非剛性画像登録を動機付ける。
• 粗い表現ではなく、全画像解像度で変換を学習するFCNベースのフレームワークを提案する。
• 変換とエンコーディングネットワークを同時に学習するため、深い自己教師付きによるマルチ解像度最適化を統合する。
• 画像ペアの即時登録を可能にし、画像セット間の登録訓練を促進する。

提案手法

• 画像と同じ解像度で空間変換をエンコードするために、完全畳み込みネットワークを用いる。
• 固定画像と変形済み移動画像間の画像類似性を最適化して学習を導く。従来の登録と同様。
• 変換とFCNを段階的に改良するマルチ解像度登録フレームワークを実装する。
• 画像類似度指標から導出される自己教師付き信号を用いて誤差逆伝播により訓練する。
• 訓練済みFCNを新しい画像ペアに対して再度の最適化なしに直接適用できるようにする。

実験結果

リサーチクエスチョン

• RQ1 FCNは、画像ペアの非剛性登録のための高忠実度・全解像度の空間変換を学習できるか？
• RQ2 深い自己教師付きによるマルチ解像度訓練は、単一解像度の手法より登録精度を向上させるか？
• RQ3 新しい画像ペアを前向き伝播計算だけでさらなる最適化なしに登録できる登録モデルは作れるか？

主な発見

• 3D構造的脳MR画像において、最先端の登録アルゴリズムより優れた性能を示す。
• 複数解像度で変換とFCNを同時最適化することが正確な登録を生むことを示す。
• 訓練済みのFCNは追加の最適化なしに前方伝播計算だけで新しい画像ペアを登録できることを検証する。