[論文レビュー] NeurReg: Neural Registration and Its Application to Image Segmentation

Wentao Zhu, Andriy Myronenko+6 more|arXiv (Cornell University)|Oct 4, 2019

Medical Image Segmentation Techniques参考文献 46被引用数 4

ひとこと要約

NeurRegは、歪み場の監視とデータ類似性のハイブリッド損失を組み合わせた深層学習ベースの画像登錻フレームワークを提案する。これにより、最先端の登錻精度と高速な推論が達成される。さらに、分類のためのマルチタスク学習へと拡張され、二重登錻と残差分類ブロックを用いて、公的データセット（HippocampusおよびProstate）における性能、不確実性推定、解釈可能性が向上する。

ABSTRACT

Registration is a fundamental task in medical image analysis which can be applied to several tasks including image segmentation, intra-operative tracking, multi-modal image alignment, and motion analysis. Popular registration tools such as ANTs and NiftyReg optimize an objective function for each pair of images from scratch which is time-consuming for large images with complicated deformation. Facilitated by the rapid progress of deep learning, learning-based approaches such as VoxelMorph have been emerging for image registration. These approaches can achieve competitive performance in a fraction of a second on advanced GPUs. In this work, we construct a neural registration framework, called NeurReg, with a hybrid loss of displacement fields and data similarity, which substantially improves the current state-of-the-art of registrations. Within the framework, we simulate various transformations by a registration simulator which generates fixed image and displacement field ground truth for training. Furthermore, we design three segmentation frameworks based on the proposed registration framework: 1) atlas-based segmentation, 2) joint learning of both segmentation and registration tasks, and 3) multi-task learning with atlas-based segmentation as an intermediate feature. Extensive experimental results validate the effectiveness of the proposed NeurReg framework based on various metrics: the endpoint error (EPE) of the predicted displacement field, mean square error (MSE), normalized local cross-correlation (NLCC), mutual information (MI), Dice coefficient, uncertainty estimation, and the interpretability of the segmentation. The proposed NeurReg improves registration accuracy with fast inference speed, which can greatly accelerate related medical image analysis tasks.

研究の動機と目的

• 従来の反復的最適化手法の計算コストを克服する、高速かつ正確な深層学習ベースの画像登錻手法の開発。
• 教師あり歪み場損失と教師なしデータ類似性損失を組み合わせることで、一般化性能と登錻精度の向上。
• 登錻と分類の間の共有表現を活用して、マルチタスク学習による医療画像分類への登錻フレームワークの拡張。
• 学習された登錻フィールドとバックプロパゲーションマップを用いて、分類の解釈可能性と不確実性推定の向上。
• Dice、EPE、MSE、NLCC などの包括的指標を用いて、公的データセットにおけるフレームワークの検証。

提案手法

• 登錻シミュレータが、移動画像に平行移動、回転、スケーリング、および弾性変形を合成的に適用し、固定画像と真値の歪み場を生成する。
• U-Netアーキテクチャが歪み場をパラメータ化し、空間変換ネットワークが移動画像をシミュレートされた固定画像にワープする。
• ハイブリッド損失が、予測値と真値の歪み場のL2損失（歪み場の監視）と、データ類似性（NLCC、MI、MSE）を組み合わせ、精度と一般化のバランスをとる。
• 二重登錻方式により、移動画像／アトラス画像が実際のトレーニング画像とシミュレートされた固定画像の両方と整合するよう強制され、特徴学習が向上する。
• マルチタスクフレームワークに残差分類ブロックを統合し、分類性能を向上させる。
• アンサンブル予測に基づく不確実性マップが、複数のアトラス登錻から生成され、逆登錻フィールドとバックプロパゲーション予測マップにより解釈性が向上する。

実験結果

リサーチクエスチョン

• RQ1 歪み場の監視とデータ類似性を組み合わせたハイブリッド損失が、深層学習ベースの画像登錻における登錻精度と一般化性能の向上に寄与するか？
• RQ2 登錻シミュレータが、多様で現実的である変形を効果的に合成し、頑健な登錻ネットワークの学習を可能にするか？
• RQ3 登錻と分類を統合したマルチタスク学習が、独立した手法と比較して分類性能を向上させるか？
• RQ4 学習された登錻フィールドが、医療画像における分類の解釈可能性と不確実性推定を向上させるか？
• RQ5 提案されたフレームワークが、高速な推論を実現しつつ、公的医療画像データセットで最先端の性能を達成できるか？

主な発見

• NeurRegは、Hippocampusデータセットにおいて、78.99 ± 6.24 / 78.72 ± 7.47 のDiceスコアを達成し、VoxelMorph や ANTs や NiftyReg といった従来手法を上回る最高の登錻性能を示した。
• 残差分類ブロックを統合したマルチタスク学習バージョン（Ours (Feat.)）は、Hippocampusデータセットで89.18 ± 3.50 / 87.39 ± 3.42 のDiceスコアを達成し、パラメータ数が多く、事前学習を施した大規模3D U-Netと同等の性能を示した。
• Prostateデータセットでは、最良のパフォーマンスを示したバージョン（Ours (Feat.)）が、44.30 ± 17.60 / 82.38 ± 3.46 のDiceスコアを達成し、VoxelMorph や他のベースライン手法を顕著に上回った。
• アトラスベースのフレームワークから生成された不確実性マップは、分類境界付近に不確実性の高い領域を明確に示しており、臨床的期待に一致するエラー発生領域を特定した。
• 逆登錻フィールドとバックプロパゲーション予測マップにより、画像の外観と分類意思決定との間の解釈可能な関連性が得られ、モデルの透明性が向上した。
• エンドツーエンドの深層学習設計のおかげで、高速な推論速度を実現し、下流の医療画像解析タスクの加速に寄与した。