[論文レビュー] Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution

Mariana-Iuliana Georgescu, Radu Tudor Ionescu+5 more|arXiv (Cornell University)|Apr 8, 2022

Advanced Image Processing Techniques被引用数 10

ひとこと要約

本稿では、複数の低分解能CTおよびMRIスキャンを活用して再構成品質を向上させる、医療画像スーパーレゾリューション向けの新規マルチモーダルマルチヘッド畳み込み注意メカニズム（MMHCA）を提案する。畳み込みおよびデコンボリューション演算を用いて、異なるカーネルサイズを持つ複数の注意ヘッドが空間的およびチャネルワイドな注意を同時に処理することで、3つのデータセットにおいて最先端の性能を達成し、ベースライン比でPSNRを最大0.69 dB向上させた。

ABSTRACT

Super-resolving medical images can help physicians in providing more accurate diagnostics. In many situations, computed tomography (CT) or magnetic resonance imaging (MRI) techniques capture several scans (modes) during a single investigation, which can jointly be used (in a multimodal fashion) to further boost the quality of super-resolution results. To this end, we propose a novel multimodal multi-head convolutional attention module to super-resolve CT and MRI scans. Our attention module uses the convolution operation to perform joint spatial-channel attention on multiple concatenated input tensors, where the kernel (receptive field) size controls the reduction rate of the spatial attention, and the number of convolutional filters controls the reduction rate of the channel attention, respectively. We introduce multiple attention heads, each head having a distinct receptive field size corresponding to a particular reduction rate for the spatial attention. We integrate our multimodal multi-head convolutional attention (MMHCA) into two deep neural architectures for super-resolution and conduct experiments on three data sets. Our empirical results show the superiority of our attention module over the state-of-the-art attention mechanisms used in super-resolution. Moreover, we conduct an ablation study to assess the impact of the components involved in our attention module, e.g. the number of inputs or the number of heads. Our code is freely available at https://github.com/lilygeorgescu/MHCA.

研究の動機と目的

• 臨床診断における低分解能医療画像の課題に対処し、複数の画像モodalitiyを用いて画像スーパーレゾリューションを向上させること。
• マルチモーダル入力全体にわたる空間的およびチャネルワイドな依存関係を共同でモデル化する新規な注意メカニズムの開発。
• 他のモダリティからの高分解能リファレンススキャンが実際にはほとんど入手不可能であるにもかかわらず、それらを必要とせずにスーパーレゾリューション性能を向上させること。
• 実世界のマルチモーダル医療画像データセットを用いた広範な実験を通じて、提案された注意モジュールの有効性を検証すること。

提案手法

• MMHCAモジュールは、各ヘッドが異なるカーネルサイズを用いることで空間的注意の低減率を制御する、並列に配置された複数の畳み込みおよびデコンボリューション層を適用する。
• 異なる画像モダリティ（例：CTおよびMRI）からの入力特徴量は、チャネル次元に沿って連結され、その後注意モジュールに供給される。
• 各注意ヘッドは、畳み込みによりボトルネック圧縮（空間的およびチャネル次元の低減）を実行し、その後デコンボリューションにより元のサイズに回復する。
• すべてのヘッドの出力を合算し、シグモイド活性化関数を適用して学習可能な注意マップを生成する。
• 注意マップは入力特徴テンソルと要素ごとの積算により乗算され、関連する領域および特徴量を強調する。
• MMHCAモジュールは、2つの深層スーパーレゾリューションアーキテクチャ（EDSRおよびCNN+ESPC）に統合され、3つのマルチモーダルデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 複数のモダリティからの低分解能スキャンしか入手できない状況下で、マルチモーダルマルチヘッド畳み込み注意メカニズムは医療画像のスーパーレゾリューション性能を向上させ得るか？
• RQ2 複数の注意ヘッド間でのカーネルサイズの多様性が、注意モジュールの性能に与える影響は何か？
• RQ3 提案されたMMHCAモジュールは、CBAMやMCBAMといった既存の注意メカニズムを上回る性能を示すか？
• RQ4 マルチモーダルデータに対するスーパーレゾリューション品質を最大化するための最適な注意ヘッド数および圧縮比は何か？
• RQ5 MMHCAモジュールは、放射線科医による評価において、どの程度診断的妥当性を向上させるか？

主な発見

• MMHCAモジュールは、すべてのデータセットおよびスケーリング要因（2×および4×）において、PSNRを最低0.47 dB、最大0.69 dB向上させ、最先端の手法を上回った。
• アブレーションスタディの結果、パラメータ数を同等にした場合でも、同一のカーネルサイズではなく多様なカーネルサイズをヘッドに使用することで、顕著に優れた性能が得られることを確認した。
• デコンボリューション層を削除（ボトルネック機構を無効化）した場合、性能が低下した。これは、設計におけるボトルネック原則の重要性を裏付けた。
• 最適なヘッド数は3であり、最良の性能はチャンネル圧縮比r=0.5で達成された。さらに比率を増加させると性能が低下した。
• 3名の放射線医による主観的評価では、EDSRにMMHCAを組み込んだ場合、81.3%のケースで高分解能画像が好まれ、特に血管などの微細な解剖学的構造の回復が優れていた。
• 放射線医の評価により、重要な構造がベースラインモデルで見過ごされたのに対し、本手法ではその可視性が向上したため、臨床的妥当性が裏付けられた。