[論文レビュー] Recurrent Registration Neural Networks for Deformable Image Registration

Robin Sandkühler, Simon Andermatt+4 more|arXiv (Cornell University)|Jun 7, 2019

Medical Image Segmentation Techniques参考文献 27被引用数 9

ひとこと要約

本稿では、局所的なパラメトリック変形を繰り返し適用することで、正確でコン act で高速な登録を達成する、非定形画像登録のための新しいシーケンスベースのディープラーニング手法であるR2N2（再帰的登録ニューラルネットワーク）を提案する。標準のBスプライン登録とは異なり、R2N2は局所的変形の再帰的シーケンスを学習し、最終的な変形に必要なパラメータの7.6%で、15倍の高速化を達成しながら同等の精度を実現した。

ABSTRACT

Parametric spatial transformation models have been successfully applied to image registration tasks. In such models, the transformation of interest is parameterized by a fixed set of basis functions as for example B-splines. Each basis function is located on a fixed regular grid position among the image domain, because the transformation of interest is not known in advance. As a consequence, not all basis functions will necessarily contribute to the final transformation which results in a non-compact representation of the transformation. We reformulate the pairwise registration problem as a recursive sequence of successive alignments. For each element in the sequence, a local deformation defined by its position, shape, and weight is computed by our recurrent registration neural network. The sum of all local deformations yield the final spatial alignment of both images. Formulating the registration problem in this way allows the network to detect non-aligned regions in the images and to learn how to locally refine the registration properly. In contrast to current non-sequence-based registration methods, our approach iteratively applies local spatial deformations to the images until the desired registration accuracy is achieved. We trained our network on 2D magnetic resonance images of the lung and compared our method to a standard parametric B-spline registration. The experiments show, that our method performs on par for the accuracy but yields a more compact representation of the transformation. Furthermore, we achieve a speedup of around 15 compared to the B-spline registration.

研究の動機と目的

• 非定形医療画像登録における従来のパラメトリックBスプライン登録の非効率性と非コンパクト表現を解決すること。
• 固定基底関数グリッドではなく、局所的変形のシーケンスとして変形をモデル化することで、登録速度の向上と表現のコンパクト化を図ること。
• 反復的画像整合化のためのエンドツーエンドの自己教師あり訓練が可能な再帰的ネットワークの構築。
• 肺MRIにおける多様な解剖的領域および呼吸相において高い精度を達成すること。
• 再帰的ネットワークを非定形画像登録に応用する可能性を検討し、医療画像分野におけるRNNの新規応用を実現すること。

提案手法

• R2N2は、ペアワイズの非定形画像登録を、局所的変形の再帰的シーケンスとして定式化し、各ステップで学習された局所的変形を適用する。
• 各時刻ステップにおいて、再帰的アーキテクチャを用いて位置、形状、重みを定義する局所的変形を予測する。
• 最終的な変形は、すべての局所的変形の累積和として得られ、コンパクトで適応可能な表現を可能にする。
• 画像再構築損失（MSE）と全変動（TV）正則化の組み合わせを用いて、自己教師ありの方法で訓練を行う。
• 特徴抽出と変形予測の両方の目的でU-Netに類似したエンコーダ・デコーダ構造を採用し、予測された変形を適用するための空間変換層を統合する。
• 2D肺MRIデータを用いて、複数の呼吸相で訓練を実施し、段階的な解像度スケーリングと検証損失に基づく早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、局所的変形を繰り返し適用することで、標準のBスプライン登録と同等の性能を達成できるか？
• RQ2 シーケンスベースのアプローチは、固定基底関数と比較して、最終的変形の表現をよりコンパクトにできるか？
• RQ3 R2N2法は、高い精度を維持しながら、従来のBスプライン登録に比べて顕著な高速化を達成できるか？
• RQ4 本手法は、肺MRIにおける異なる解剖的スライス位置や呼吸相にわたって一般化できるか？
• RQ5 自己教師あり訓練による再帰的ネットワークは、真値の変形場が存在しない状況でも、複雑な非剛体変形を効果的に学習できるか？

主な発見

• R2N2は、全スライスにおいて平均ターゲット登録誤差（TRE）が1.16 mmを示し、同じテストセットで標準Bスプライン法（1.10 mm）と同等の精度を達成した。
• 最終的変形を記述するために必要なパラメータ数を、Bスプライン法の7.6%にまで削減し、極めてコンパクトな表現であることが示された。
• 登録計算時間は、NVIDIA GTX 1080を用いて約15倍高速化され、Bスプラインの約4.5秒からR2N2では約0.3秒にまで短縮された。
• スライス位置や呼吸相が患者ごとに異なる状況でも、一貫した性能を示し、良好な一般化性能を示した。
• 可視化解析の結果、R2N2は、例えば横隔膜のような高運動領域では初期に大きな変形を適用し、後続ステップで小さな局所的変形で精緻化していることがわかった。
• 画像コンテンツや運動パターンの変化に対しても、顕著な性能低下が見られず、多様な解剖的領域で頑健であることが示された。