[論文レビュー] Learning image registration without images

Malte Hoffmann, Benjamin Billot+3 more|arXiv (Cornell University)|Apr 21, 2020

Medical Image Segmentation Techniques参考文献 46被引用数 5

ひとこと要約

本論文は、実際の画像データを用いずに、生成モデルを用いて多様なラベルマップと画像を合成することで、深層ネットワークを訓練する対照不変の画像登録手法を提案する。このアプローチにより、1つのモデルが、モダリティ内およびモダリティ間のあらゆる対照において再訓練なしに、最先端の精度を達成できる。非解剖的形状で訓練された場合でさえも、その性能を維持する。

ABSTRACT

We introduce a learning strategy for contrast-invariant image registration without requiring imaging data. While classical registration methods accurately estimate the spatial correspondence between images, they solve a costly optimization problem for every image pair. Learning-based techniques are fast at test time, but can only register images with image contrast and geometric content that are similar to those available during training. We focus on removing this image-data dependency of learning methods. Our approach leverages a generative model for diverse label maps and images that exposes networks to a wide range of variability during training, forcing them to learn features invariant to image type (contrast). This strategy results in powerful networks trained to generalize to a broad array of real input images. We present extensive experiments, with a focus on 3D neuroimaging, showing that this strategy enables robust registration of arbitrary image contrasts without the need to retrain for new modalities. We demonstrate registration accuracy that most often surpasses the state of the art both within and across modalities, using a single model. Critically, we show that input labels from which we synthesize images need not be of actual anatomy: training on randomly generated geometric shapes also results in competitive registration performance, albeit slightly less accurate, while alleviating the dependency on real data of any kind. Our code is available at: this http URL

研究の動機と目的

• 学習ベースの画像登録における、トレーニング段階での実画像データへの依存を排除すること。
• 1つの深層学習モデルが、再トレーニングなしに多様な対照の画像を登録できることを可能にすること。
• 非解剖的幾何形状でトレーニングした場合でも、競争力のある登録性能が得られるかどうかを調査すること。
• モダリティをまたいで一般化しつつ、高い精度を維持する手法を開発すること。
• 反復的最適化の代わりに高速な推論を導入することで、登録の計算コストを低減すること。

提案手法

• 生成モデルが多様なラベルマップとそれに対応する画像を合成し、ネットワークが対照と幾何の極端な多様性にさらされるようにする。
• ネットワークは、実画像ではなく合成データのみを用いて、画像ペア間の空間的変換を予測するように訓練される。
• 訓練中に現実的な画像およびラベルマップの分布を保証するために、サイクル整合性のある生成モデルを活用する。
• 広範な合成データへの露出により、ネットワークが画像対照に対して不変な特徴を学習する。
• モデルが実解剖的事前知識から分離できるように、トレーニングは合成データ（非解剖的形状を含む）に限定して実施される。
• テスト時の推論は高速かつ一般化可能であり、未知の画像対照におけるゼロショット登録を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークは、トレーニング中に実画像を一切見ない状態でも、あらゆる対照の画像登録を学習できるか？
• RQ2 非解剖的幾何形状でトレーニングした場合でも、依然として競争力のある登録性能が得られるか？
• RQ3 1つのモデルが、再トレーニングなしにモダリティ内およびモダリティ間の両方の登録に一般化できるか？
• RQ4 合成データでトレーニングしたモデルの性能は、実3次元神経画像データにおける最先端手法と比べてどうか？
• RQ5 実画像データに依存せずに、対照不変性をどの程度達成できるか？

主な発見

• 提案手法は、3次元神経画像におけるモダリティ内およびモダリティ間の両方の画像ペアにおいて、最先端の登録精度を達成した。
• 再トレーニングなしに、任意の画像対照に一般化可能であり、未観測のモダリティに対しても頑健であることが示された。
• ランダムに生成された幾何形状でトレーニングした場合でも、競争力のある性能が得られたが、解剖的データでトレーニングした場合よりわずかに精度が低い。
• 古典的な最適化ベースの登録法よりも高速でありながら、精度は同等またはそれを上回った。
• 多様な合成データへの露出により、ネットワークが対照不変特徴を学習し、ゼロショット一般化が可能になった。
• モダリティ固有の再トレーニングの必要がなくなり、登録パイプラインのデータおよび計算負荷が顕著に低減された。