[論文レビュー] Coupled Feature Learning for Multimodal Medical Image Fusion

Farshad G. Veshki, Nora Ouzir+2 more|arXiv (Cornell University)|Feb 17, 2021

Advanced Image Fusion Techniques参考文献 32被引用数 11

ひとこと要約

本稿では、入力画像を相関成分と独立成分に分解するための結合辞書学習を用いた、新しいマルチモodal医療画像融合手法を提案する。同一のサポートを持つスパース表現を適用し、ピアソン相関制約を課すことにより、モダリティ固有の詳細を保持しながら共有情報を統合する。従来の最先端手法と比較して優れた強度再現性と詳細保持性能を達成し、計算効率も良好である。

ABSTRACT

Multimodal image fusion aims to combine relevant information from images acquired with different sensors. In medical imaging, fused images play an essential role in both standard and automated diagnosis. In this paper, we propose a novel multimodal image fusion method based on coupled dictionary learning. The proposed method is general and can be employed for different medical imaging modalities. Unlike many current medical fusion methods, the proposed approach does not suffer from intensity attenuation nor loss of critical information. Specifically, the images to be fused are decomposed into coupled and independent components estimated using sparse representations with identical supports and a Pearson correlation constraint, respectively. An alternating minimization algorithm is designed to solve the resulting optimization problem. The final fusion step uses the max-absolute-value rule. Experiments are conducted using various pairs of multimodal inputs, including real MR-CT and MR-PET images. The resulting performance and execution times show the competitiveness of the proposed method in comparison with state-of-the-art medical image fusion methods.

研究の動機と目的

• 従来のマルチモダリティ画像融合手法の限界、例えば強度の減衰や重要な情報の損失を是正すること。
• MR-CT、MR-PET、MR-SPECTを含む、多様な医療画像モダリティに適用可能な汎用的融合フレームワークの開発。
• モダリティ固有の特徴を独立成分に分離することで、それらの特徴を劣化または減衰させる融合ルールを回避すること。
• 同一のスパースサポートを持つ結合辞書を用いて相関成分を共同で学習することで、融合性能を向上させること。
• 交互に最適化アルゴリズムにより、スパarsity、相関、再構成制約を統合した非凸最適化問題を解き、計算効率を確保しながら高品質な統合画像を実現すること。

提案手法

• 本手法は、同一のサポートを持つスパース表現を用いて、結合辞書学習により学習されたものにより、入力画像を相関成分と独立成分に分解する。
• 相関成分は、複数のモダリティ間で共有されるスパarsityパターンを持つ共同スパースコーディングフレームワークを用いて抽出する。
• 独立成分は、2つの画像の残差項間のピクセル単位のピアソン相関を最小化することで強制的に実現する。
• スパarsity、相関、再構成制約を含む非凸最適化問題を解くために、交互最適化アルゴリズムが用いられる。
• 最終的な統合画像は、統合された相関成分と完全に保持された独立成分を、絶対値最大値ルールを用いて合成することで得られる。
• 本手法は固定画素サイズ（m=64）と辞書サイズ（n=128）を有するパッチベースアプローチを採用しており、異なるモダリティにわたる一般化を図るためにパラメータが調整されている。

実験結果

リサーチクエスチョン

• RQ1 結合辞書学習フレームワークは、マルチモダリティ医療画像におけるモダリティ固有情報と共有情報の分離を効果的に実現できるか？
• RQ2 相関成分と独立成分を同時に最適化することで、強度忠実性と構造的詳細の両方を保持できるか？
• RQ3 従来の融合ルールとは異なり、独立成分を融合せずに保持することで、情報損失が減少するか？
• RQ4 本手法は、MR-CT、MR-PET、MR-SPECTのような異なる医療画像モダリティにどの程度一般化可能か？
• RQ5 本最適化フレームワークにおいて、スパarsityレベル、相関ペナルティ、融合性能の間にはどのようなトレードオフが生じるか？

主な発見

• 本手法は、QY、QCB、TMQI、STDといった定量的指標において、PCNN-NSST、CSR、LLF-IOIといった最先端手法を上回る優れた性能を達成した。
• 本手法は高い強度忠実性を維持しており、平均化ベースやバイナリ選択ルールでよく見られる強度の減衰を回避した。
• 実行時間は競争力があり、PCNN-NSSTと同等の平均実行時間を記録し、CSR や LLF-IOI の手法よりも顕著に高速であった。
• T=5 と ρ=10 の最適パラメータ設定は、独立成分の保持と相関成分の維持の両面でバランスの取れた妥当なトレードオフを提供した。
• 本手法は、モダリティ固有のパラメータチューニングを必要とせず、多様なモダリティにわたって良好に一般化され、高いロバスト性と適応性を示した。
• 視覚的および定量的評価結果から、本手法がMR-CTやその他のマルチモダリティペアにおいて、軟部組織および硬部組織の両方の微細な詳細や解剖学的構造を効果的に保持していることが確認された。