[論文レビュー] Cross-modal Attention for MRI and Ultrasound Volume Registration

Xinrui Song, Hengtao Guo+7 more|arXiv (Cornell University)|Jul 9, 2021

Advanced Neural Network Applications参考文献 19被引用数 6

ひとこと要約

本論文では、MRIと超音波画像ボリューム間の空間的対応関係を明示的にモデル化するクロスモーダルアテンション機構を提案し、医療画像のアライメント性能を向上させている。軽量なCNNにこのアテンションブロックを統合することで、最先端の精度を達成し、登録誤差を10.17±5.75 mmから3.71±1.99 mmに低減した。一方、従来の最先端モデルと比較して、パラメータ数は1/10、実行時間は半分にまで削減された。

ABSTRACT

Prostate cancer biopsy benefits from accurate fusion of transrectal ultrasound (TRUS) and magnetic resonance (MR) images. In the past few years, convolutional neural networks (CNNs) have been proved powerful in extracting image features crucial for image registration. However, challenging applications and recent advances in computer vision suggest that CNNs are quite limited in its ability to understand spatial correspondence between features, a task in which the self-attention mechanism excels. This paper aims to develop a self-attention mechanism specifically for cross-modal image registration. Our proposed cross-modal attention block effectively maps each of the features in one volume to all features in the corresponding volume. Our experimental results demonstrate that a CNN network designed with the cross-modal attention block embedded outperforms an advanced CNN network 10 times of its size. We also incorporated visualization techniques to improve the interpretability of our network. The source code of our work is available at https://github.com/DIAL-RPI/Attention-Reg .

研究の動機と目的

• 前立腺がん生検において、MRIと経直腸超音波（TRUS）ボリューム間の正確なクロスモーダルアライメントを解決すること。
• 異なる画像モodalからの特徴間の空間的対応関係をモデル化する能力に限界を示す従来のCNNの課題を克服すること。
• MRIとTRUSボリューム間でグローバルな特徴対応関係を明示的に捉える新しいアテンション機構の開発。
• 既存のディープラーニング手法と比較して、はるかに小型で効率的なネットワークアーキテクチャを用いてアライメント性能を向上させること。
• Grad-CAMなどの可視化技術を用いて、アライメントネットワークの解釈可能性を向上させること。

提案手法

• MRI（固定）とTRUS（移動）ボリュームの特徴間に作用する、非局所アテンションを拡張したクロスモーダルアテンションブロックを提案。
• 一つのボリューム内の各特徴と、もう一方のボリュームの全特徴との類似度を計算することで、グローバルな特徴マッチングを可能にする。
• 3次元ボリュームアライメントを目的とした、U-Netに類似したエンコーダ-デコーダネットワークにクロスモーダルアテンションブロックを統合。
• 畳み込み層とマックスプーリング層を用いた特徴抽出器により、入力ボリュームをダウンサンプリングし、階層的特徴を抽出。
• アテンション処理を経た特徴を、マルチモーダル情報の統合と空間変換の予測に用いる深層レジistratorに供給。
• ワープされた移動画像と固定画像のボクセル単位の平均二乗誤差に基づく損失関数を用いて、ネットワークをエンドツーエンドで学習。

実験結果

リサーチクエスチョン

• RQ1 自己アテンション機構が、空間的対応関係を明示的にモデル化することで、MRIとTRUS間のクロスモーダル画像アライメントを改善できるか？
• RQ2 提案されたクロスモーダルアテンションブロックは、より大きな標準CNNと比較して、はるかに小型なネットワークでも優れたアライメント性能を達成できるか？
• RQ3 入力としてセグメンテーションマスクを使用することで、生のMRIボリュームと比較して、アライメント精度と頑健性が向上するか？
• RQ4 アテンション機構が特徴可視化を通じて、ネットワークの解釈性をどの程度向上させるか？
• RQ5 提案手法は、最先端の手法と比較して、推論時間とモデルサイズを削減しつつ、優れた性能を達成できるか？

主な発見

• 提案されたAttention-Regネットワークは、ターゲット登録誤差（TRE）を10.17±5.75 mmのベースラインから3.71±1.99 mmに顕著に低減した。
• パラメータ数がたった1,248,777個で、MSReg（1600万パラメータ）とDVNet（530万パラメータ）を上回り、モデルサイズの1/10で高い精度を達成した。
• 3msの推論時間で、MSReg（6ms）の半分の実行時間であり、高い効率性を示した。
• アブレーションスタディでは、クロスモーダルアテンションブロックを削除した場合に性能が顕著に低下（p < 0.001）したことが確認され、その重要性が裏付けられた。
• セグメンテーションマスクを入力として使用することで、さらに精度が向上し、TREは3.60±2.01 mmに低下した。また、アテンションブロックが存在する場合、ラベルベースの入力が生のMRI入力よりも優位性を回復した。
• Grad-CAMの可視化結果から、アテンション機構が解剖学的に意味のある領域（例：前立腺の境界）に注目していることが確認され、意味のある特徴学習と空間的アライメントが行われていることが裏付けられた。