[論文レビュー] Image-and-Spatial Transformer Networks for Structure-Guided Image Registration

Matthew C. H. Lee, Ozan Oktay+3 more|arXiv (Cornell University)|Jul 22, 2019

Medical Image Segmentation Techniques参考文献 10被引用数 9

ひとこと要約

本稿では、セグメンテーションなど、関心領域（SoI）を活用してタスク固有の画像表現を学習することで、画像登錣の精度を向上させる、画像および空間変換ネットワーク（ISTN）という、深層学習フレームワークを提案する。これらの学習済み表現を用いてテスト固有の反復的改善を可能にすることで、ISTNは、特に訓練データが限られている状況でも顕著に高い登錣精度を達成し、3D脳MRIデータセットにおいて、教師ありおよび教師なしのベースラインを上回っている。

ABSTRACT

Image registration with deep neural networks has become an active field of research and exciting avenue for a long standing problem in medical imaging. The goal is to learn a complex function that maps the appearance of input image pairs to parameters of a spatial transformation in order to align corresponding anatomical structures. We argue and show that the current direct, non-iterative approaches are sub-optimal, in particular if we seek accurate alignment of Structures-of-Interest (SoI). Information about SoI is often available at training time, for example, in form of segmentations or landmarks. We introduce a novel, generic framework, Image-and-Spatial Transformer Networks (ISTNs), to leverage SoI information allowing us to learn new image representations that are optimised for the downstream registration task. Thanks to these representations we can employ a test-specific, iterative refinement over the transformation parameters which yields highly accurate registration even with very limited training data. Performance is demonstrated on pairwise 3D brain registration and illustrative synthetic data.

研究の動機と目的

• 非反復的かつ一回の推論で処理する現在の深層学習ベースの画像登錣手法が、関心領域（SoI）の登錣において最適でない性能を示す問題に対処すること。
• 推論中にSoI情報を保持・活用しない既存の教師ありおよび教師なしアプローチの制限を克服すること。
• 登錣に最適化された表現を学習できる汎用的かつエンドツーエンドで訓練可能なフレームワークを構築すること。
• 訓練時にSoI情報を活用しつつ、推論時に動的適応を可能にすることで、データ効率性と登錣精度を向上させること。

提案手法

• ISTNは二重ブランチアーキテクチャを導入する。一方のブランチは入力画像ペアを処理し、もう一方はSoI情報（例：セグメンテーション）を処理して、登錣に最適化された表現を学習する。
• 空間変換ネットワーク（STN）を用いて変換パラメータを予測するが、従来の手法とは異なり、SoIに依存する表現を用いて変換の学習をガイドする。
• 2つのバリエーションを提案する：明示的（ISTN-e）と暗黙的（ISTN-i）。後者は直接的な教師信号を用いずに表現を学習するため、ノイズの多いSoIに起因する過学習を低減する。
• 初期予測後、ISTNは学習済み表現を用いてテスト固有の反復的改善を実行し、段階的なアライメントの向上を可能にする。
• 微分可能な空間変換モジュールを用いて微分可能な画像ワープを実行し、変換プロセス全体を通じた逆誤差伝搬を可能にする。
• 損失関数は、類似度測定（例：平均二乗誤差）とSoIに基づく教師信号を組み合わせており、外観と構造的アライメントの両方を同時に最適化可能である。

実験結果

リサーチクエスチョン

• RQ1 訓練時に関心領域（SoI）を活用することで、特に訓練データが限られている状況でも、深層学習ベースの画像登錣の精度が向上するか？
• RQ2 SoIガイドド表現を用いたテスト固有の反復的改善は、一回の推論に比べて、深層学習ベースの手法における登錣性能を向上させるか？
• RQ3 SoI表現の暗黙的学習は、SoIアノテーションにノイズや汚損がある場合に過学習を低減できるか？
• RQ4 3D脳MRIデータにおいて、提案されたISTNフレームワークは、教師ありおよび教師なしのSTNベースラインと比較して、Diceスコアおよび平均表面距離（ASD）の点でどのように異なるか？
• RQ5 ISTNフレームワークは、画像登錣においてどの程度のデータ効率性を向上させるか？

主な発見

• ISTNは、教師あり（STN-s）および教師なし（STN-u）ベースラインを一回の推論でも上回り、100組の訓練ペアでのみ、アフィン変換でDiceスコア0.75、Bスプラインで0.80を達成した。
• 反復的改善後、ISTNはアフィン変換でDiceスコア0.82、Bスプラインで0.85を達成し、SoIを直接使用した場合の上限（それぞれ0.84および0.91）に近づいた。
• 100組の訓練ペアでのみ、ISTNは1,000組の訓練ペアで学習したSTN-u/sを上回る精度を達成し、優れたデータ効率性を示した。
• 暗黙的バージョン（ISTN-i）は明示的バージョン（ISTN-e）と同等の性能を示し、ノイズや汚損のあるSoIアノテーションに対しても頑健であることを示唆した。
• 改善後、平均表面距離（ASD）はアフィン変換で0.58、Bスプラインで0.46にまで低下し、ベースラインを著しく上回った。
• 定性的な結果から、ISTNは皮質下構造の意味のある表現を学習しており、ヒートマップが真値のセグメンテーションとよく一致していることが確認された。