[論文レビュー] Transformer and GAN Based Super-Resolution Reconstruction Network for Medical Images

Weizhi Du, Harvery Tian|arXiv (Cornell University)|Dec 26, 2022

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本稿では、テキスチャの詳細と構造的整合性を向上させるために、トランスフォーマーと生成的敵対ネットワーク（GAN）を統合した新しい医用画像スーパーレゾリューション再構成ネットワーク、T-GANを提案する。自己注意メカニズムを用いたグローバル特徴マッチングと、コンテンツ損失、敵対的損失、特徴損失を組み合わせたマルチタスク損失を採用することで、膝および腹部MRIデータセットにおいて最先端の性能を達成し、PSNRおよびSSIMの面でSOTA手法を上回りながら、微細な解剖的テクスチャを保持した。

ABSTRACT

Because of the necessity to obtain high-quality images with minimal radiation doses, such as in low-field magnetic resonance imaging, super-resolution reconstruction in medical imaging has become more popular (MRI). However, due to the complexity and high aesthetic requirements of medical imaging, image super-resolution reconstruction remains a difficult challenge. In this paper, we offer a deep learning-based strategy for reconstructing medical images from low resolutions utilizing Transformer and Generative Adversarial Networks (T-GAN). The integrated system can extract more precise texture information and focus more on important locations through global image matching after successfully inserting Transformer into the generative adversarial network for picture reconstruction. Furthermore, we weighted the combination of content loss, adversarial loss, and adversarial feature loss as the final multi-task loss function during the training of our proposed model T-GAN. In comparison to established measures like PSNR and SSIM, our suggested T-GAN achieves optimal performance and recovers more texture features in super-resolution reconstruction of MRI scanned images of the knees and belly.

研究の動機と目的

• 低線量CTおよび低磁場MRIにおける解像度の低さとノイズの影響により診断精度が低下する問題に対処すること。
• 再構成問題の不適切な定式化に起因するエッジのぼやけやテクスチャの捏造（ホールーシャン）を引き起こす従来のスーパーレゾリューション手法の限界を克服すること。
• トランスフォーマーによるグローバル自己注意とGANの生成能力を統合することで、テクスチャおよび構造的整合性の向上を図ること。
• コンテンツ損失、敵対的損失、および特徴レベル損失を組み合わせたマルチタスク損失関数を設計し、生成器が現実的で高忠実度の出力を得られるように導くこと。

提案手法

• 提案されたT-GANフレームワークは、残留学習を用いるブランチと、長距離特徴モデリングにトランスフォーマーに基づくモジュールを統合する二重ブランチ生成器アーキテクチャを採用する。
• トランスフォーマーモジュールは、すべての空間的位置間での自己注意を計算することでグローバルな画像マッチングを可能にし、顕著な解剖的構造に注目し、テクスチャの詳細を保持する。
• 事前学習済みVGGネットワークの途中特徴量を用いた特徴レベル敵対的損失を加えることで、L1コンテンツ損失、ディスクライマーからの敵対的損失、およびマルチタスク損失関数を設計する。
• 生成器はミニマックスゲームにおいてディスクライマーと同時にエンドツーエンドで訓練され、高解像度画像を実際のHR画像と区別できないようにすることを目的とする。
• アーティファクトを低減し視覚的リアリズムを向上させるために、知覚的および敵対的監視を組み合わせたファインチューニングを実施する。
• 本フレームワークは、膝および腹部MRIデータセット、および低線量胸部CTスキャンを対象に評価され、PSNRおよびSSIMを含む定量的指標が用いられた。

実験結果

リサーチクエスチョン

• RQ1 従来のスーパーレゾリューション手法と比較して、トランスフォーマー強化GANアーキテクチャは、低解像度医用画像における微細なテクスチャディテールの回復を改善できるか？
• RQ2 生成器に自己注意メカニズムを統合することで、医用画像スーパーレゾリューションにおける特徴表現と再構成精度はどのように向上するか？
• RQ3 コンテンツ損失、敵対的損失、および特徴レベル監視を組み合わせたマルチタスク損失は、再構成画像の知覚的品質および構造的整合性をどの程度向上させるか？
• RQ4 提案されたT-GANモデルは、MRIや低線量CTなどの異なる医用画像モodalitiesに効果的に一般化できるか？
• RQ5 PSNR、SSIM、および視覚的品質の観点から、SOTAのSISRおよびRefSR手法と比較して、本モデルはどの程度の性能を示すか？

主な発見

• 膝MRI画像では、T-GANはPSNR 34.92、SSIM 0.9496を達成し、EDSR（33.31 PSNR）およびWDSR（33.998 PSNR）を上回った。
• 腹部MRI画像では、T-GANはPSNR 34.69、SSIM 0.9353を達成し、WDSR（34.25 PSNR）をわずかに上回り、EDSR（33.43 PSNR）を顕著に上回った。
• 視覚的比較では、T-GANはエッジがシャープで、より現実的なテクスチャディテールを再構成しており、バイキュービックおよびEDSR手法で一般的に見られる過剰な平滑化を回避していた。
• 低線量胸部CT画像においても、本モデルは優れた一般化性能を示し、ノイズ低減と構造的一致性の向上を伴い、ベースライン手法よりも高解像度の出力を得た。
• アブレーションスタディにより、コンテンツ損失、敵対的損失、特徴損失を組み合わせたマルチタスク損失関数が、再構成における忠実度とリアリズムのバランスを保つ上で極めて重要であることが確認された。
• トランスフォーマーモジュールの統合により、長距離依存性を捉える能力が著しく向上し、診断的に重要な領域に注目する能力が向上し、優れた性能が得られた。