[論文レビュー] Medical image super-resolution method based on dense blended attention network

Kewen Liu, Yuan Ma+5 more|arXiv (Cornell University)|May 13, 2019

Advanced Image Processing Techniques参考文献 32被引用数 7

ひとこと要約

本稿では、高周波成分の回復を向上させるために、密な残差学習と新規のブレンドドアテンションメカニズムを統合した、医用画像超解像のための密度的ブレンドドアテンションネットワーク（DBA-Net）を提案する。バッチ正規化をインスタンス正規化に置き換え、デコンボリューション層をアップサンプリングに用いることで、最先端の性能を達成し、MRIデータセットにおいて主流の手法と比較してPSNRが最大11.25 dB向上し、SSIMが最大14.04%向上した。

ABSTRACT

In order to address the issue that medical image would suffer from severe blurring caused by the lack of high-frequency details in the process of image super-resolution reconstruction, a novel medical image super-resolution method based on dense neural network and blended attention mechanism is proposed. The proposed method adds blended attention blocks to dense neural network(DenseNet), so that the neural network can concentrate more attention to the regions and channels with sufficient high-frequency details. Batch normalization layers are removed to avoid loss of high-frequency texture details. Final obtained high resolution medical image are obtained using deconvolutional layers at the very end of the network as up-sampling operators. Experimental results show that the proposed method has an improvement of 0.05db to 11.25dB and 0.6% to 14.04% on the peak signal-to-noise ratio(PSNR) metric and structural similarity index(SSIM) metric, respectively, compared with the mainstream image super-resolution methods. This work provides a new idea for theoretical studies of medical image super-resolution reconstruction.

研究の動機と目的

• 高周波成分の損失による医用画像超解像における著しいぼやけを解消すること。
• 重要な領域およびチャネルにおける特徴学習を強化することで再構成品質を向上させること。
• 超解像処理中に微細なテクスチャ詳細を保持するうえで、バッチ正規化の限界を克服すること。
• 臨床現場での多様な医用画像モodalitiesに適した、軽量で効率的なネットワークアーキテクチャを開発すること。
• 従来の深層学習ベースの手法と比較して、定量的指標（PSNR、SSIM）および定性的な視覚的忠実度の両面で優れた性能を達成すること。

提案手法

• チャネルおよび空間アテンションを統合的にモデル化することで、高周波成分を豊富に含む領域を強調する、密なブレンドドアテンション（DBA）ブロックを導入する。
• 特徴の再利用と層間の勾配の流れを促進するために、DenseNetのアプローチを用いた密な残差接続を採用する。
• トレーニングおよび推論中に高周波成分のテクスチャ詳細を保持するために、バッチ正規化をインスタンス正規化に置き換える。
• 前処理としてバイキューブ補間によるアップスケーリングを避けるために、ネットワークのヘッドでデコンボリューション層を用いてエンドツーエンドのアップサンプリングを実現する。
• 低解像度入力を直接処理するマルチスケール超解像フレームワークを設計し、計算負荷を低減する。
• 視覚的忠実度と構造的正確性の両立を図るため、知覚的損失と再構成損失の組み合わせを最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 ブレンドドアテンションメカニズムは、医用画像超解像における高周波成分のモデリングを効果的に向上させることができるか？
• RQ2 バッチ正規化を削除することで、超解像処理後の医用画像における微細なテクスチャ詳細の保持にどのような影響を与えるか？
• RQ3 アテンション機構と密な残差学習を統合することで、従来の最先端手法と比較してPSNRおよびSSIM指標がどの程度向上するか？
• RQ4 提案手法は、MRI、CT、PETなどの異なる医用画像モダリティに一般化可能か？
• RQ5 バイキューブ補間による事前アップスケーリングに依存せずに、高品質な再構成が達成可能か？

主な発見

• 提案されたDBA-Netは、スケーリング比4のProstateXデータセットにおいて、ベースライン手法と比較して最大11.25 dBのPSNR向上を達成した。
• 最先端の手法と比較して、SSIMが最大14.04%向上し、構造的保持の優位性が示された。
• 定性的な結果から、提案手法は特に解剖学的境界や微細構造において、よりシャープで現実的なテクスチャ詳細を有する画像を生成していることが明らかになった。
• 1枚あたり0.5秒未満という競争力のある推論時間を維持しており、VDSRやSRResNetと比較してわずかに増加したにとどまる。
• 微調整によるトランスファーラーニングを適用することで、CT、レントゲン、PETなど他のモダリティに対しても良好な一般化性能を示した。
• アブレーションスタディにより、バッチ正規化を削除することで高周波成分の回復が顕著に向上することが確認され、設計選択の妥当性が裏付けられた。