[論文レビュー] DRMIME: Differentiable Mutual Information and Matrix Exponential for Multi-Resolution Image Registration

Abhishek Nan, Matthew Tennant+2 more|arXiv (Cornell University)|Jan 27, 2020

Medical Image Segmentation Techniques参考文献 22被引用数 15

ひとこと要約

DRMIME は、MINE を用いた微分可能な相互情報量と行列指数に基づくアフィン変換を用いて、マルチモodal およびモノモダルドでの画像登録を向上させるエンドツーエンド微分可能な画像登録フレームワークを提案する。すべてのピラミッドレベルを同時に勾配最適化可能であるため、FIRE および ANHIR ベンチマークで最先端の性能を達成し、従来手法に比べて顕著な精度向上を実現する。

ABSTRACT

In this work, we present a novel unsupervised image registration algorithm. It is differentiable end-to-end and can be used for both multi-modal and mono-modal registration. This is done using mutual information (MI) as a metric. The novelty here is that rather than using traditional ways of approximating MI, we use a neural estimator called MINE and supplement it with matrix exponential for transformation matrix computation. This leads to improved results as compared to the standard algorithms available out-of-the-box in state-of-the-art image registration toolboxes.

研究の動機と目的

• マルチモダルドおよびモノモダルド登録を両立できるエンドツーエンド微分可能な画像登録フレームワークの開発。
• 次元の呪いと微分不能性の問題を抱える従来のヒストグラムベースの相互情報量推定法の限界を克服すること。
• MINE（相互情報量ニューラル推定）を用いた微分可能な相互情報量推定器と、行列指数によるリー群ベースの変換パrametrization を用いることで、登録精度の向上を図ること。
• 自動微分を活用し、すべてのマルチスケールピラミッドレベルを同時に最適化可能にする。
• FIRE や ANHIR などのベンチマークデータセットにおいて、既存の最先端手法に比べ優れた性能を示すこと。

提案手法

• MINE（相互情報量ニューラル推定）を用いて、微分可能な相互情報量の下界を計算し、勾配最適化を可能にする。
• アフィン変換を、基底行列の線形結合の行列指数としてパrametrization することで、適切な多様体制約（例：SO(2) や Aff(2)）を確保する。
• 変換行列を $ H = \exp(\sum_{i=1}^6 v_i B_i) $ として表現する。ここで $ B_i $ は 2D アフィン変換用に事前に定義された基底行列である。
• 順次的ではなく、すべてのピラミッドレベルを同時に自動微分を用いて最適化することで、最適化の安定性と収束性を向上させる。
• Canny エッジ検出またはランダムサンプリングを用いたマルチスケール画像ピラミッドを採用し、計算コストを低減するとともに特徴表現を向上させる。
• ADAM に AMSGRAD を用いて損失を最適化し、PyTorch の自動微分機能を活用して完全なエンドツーエンド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 MINE を用いた微分可能な相互情報量推定は、マルチモダルド医療画像登録における精度向上に寄与するか？
• RQ2 変換パrametrization に行列指数を用いることで、従来のパrametrization よりもより正確で安定した登録が達成できるか？
• RQ3 すべてのピラミッドレベルを同時に最適化することで、逐次的マルチスケールアプローチに比べて登録性能が向上するか？
• RQ4 エッジベースの特徴抽出の使用は、微分可能な登録フレームワークの性能にどのように影響するか？
• RQ5 提案された DRMIME フレームワークは、FIRE や ANHIR のような多様なデータセットに対して、頑健かつ一般化可能か？

主な発見

• DRMIME は FIRE ベンチマークで、正規化平均距離誤差（NAED）0.0048 ± 0.014 を達成し、最先端の性能を示した。
• ANHIR データセットでは NAED が 0.0384 ± 0.087 に達し、ベースライン手法を有意に上回った（p 値 0.0012）。
• アブレーションスタディの結果、行列指数パrametrization は ANHIR で統計的に有意な改善をもたらした（p = 0.0012）が、FIRE では有意でなかった（p = 0.4933）。
• Canny エッジ検出を特徴抽出に用いることで、ランダムサンプリングに比べて性能が向上し、FIRE では p 値 0.0296、ANHIR では p 値 0.0333 を示した。
• 10% のサンプリングしか使用していないにもかかわらず、50% サンプリングを用いる他のアルゴリズムを上回った。これは、高いサンプル効率を示している。
• MINE が次元数に対して線形にスケーリングするため、高次元画像（例：ハイパースペクトルまたはマルチスペクトル）への応用が可能であり、スケーラビリティを示している。