[論文レビュー] Progressive Generative Adversarial Networks for Medical Image Super resolution

Dwarikanath Mahapatra, Behzad Bozorgtabar|arXiv (Cornell University)|Feb 6, 2019

Advanced Image Processing Techniques参考文献 18被引用数 19

ひとこと要約

本稿では、スケーリング要因が8に達するまで、低解像度の医用画像を高品質に再構築できる、三重項損失を組み込んだ段階的生成対抗ネットワーク（P-GAN）を提案する。段階的な訓練により出力を段階的に改善することで、元の高解像度スキャンに近い画像品質とセグメンテーション精度を達成し、網膜および心臓MRI応用において、既存のGANベースおよび非GAN手法を上回る性能を発揮する。

ABSTRACT

Anatomical landmark segmentation and pathology localization are important steps in automated analysis of medical images. They are particularly challenging when the anatomy or pathology is small, as in retinal images and cardiac MRI, or when the image is of low quality due to device acquisition parameters as in magnetic resonance (MR) scanners. We propose an image super-resolution method using progressive generative adversarial networks (P-GAN) that can take as input a low-resolution image and generate a high resolution image of desired scaling factor. The super resolved images can be used for more accurate detection of landmarks and pathology. Our primary contribution is in proposing a multistage model where the output image quality of one stage is progressively improved in the next stage by using a triplet loss function. The triplet loss enables stepwise image quality improvement by using the output of the previous stage as the baseline. This facilitates generation of super resolved images of high scaling factor while maintaining good image quality. Experimental results for image super-resolution show that our proposed multistage P-GAN outperforms competing methods and baseline GAN.

研究の動機と目的

• 低解像度の医用画像における正確な解剖学的ランドマークおよび病変の検出を課題とし、特に網膜の微小動脈瘤や心室のような小さな構造に対して焦点を当てる。
• ヒューリスティックなパrameterに依存するか、高スケーリング要因で画像品質を維持できない、先行のGANベースの超解像手法の限界を克服する。
• 段階的な反復的改善を通じて画像品質を体系的かつ段階的に向上させる、マルチステージのプログレッシブGANフレームワークを開発する。
• 本手法の有効性を、網膜フ立像および心臓MRIを含む多様な医用画像モodalitiesにわたり実証する。

提案手法

• 本手法は、各段階の出力を次の段階の入力として受け取るマルチステージのプログレッシブGANアーキテクチャを採用しており、段階的な画像品質の向上を可能にする。
• 三重項損失関数がGANの訓練プロセスに統合されており、各段階の出力が、直前の段階の出力よりも元の高解像度画像に近くなるように保証する。
• 生成器ネットワークは、スキップ接続を備えた深層残差ネットワーク（ResNet）に基づき、空間的詳細を保持するためUNetスタイルのスキップ接続を用いる。
• 識別器ネットワークは、実際の高解像度画像と生成された超解像画像を区別するように訓練され、生成器はMSE、知覚的（VGGベース）、および三重項損失の組み合わせにより最適化される。
• 三重項損失は相対的な順位付けを強制する：段階iの生成画像は、段階i-1の出力よりも、真値のHR画像に近づく必要がある。
• 敵対的損失、知覚的損失、三重項損失の組み合わせにより、エンドツーエンドで訓練され、忠実度、現実性、段階的改善のバランスが取れる。

実験結果

リサーチクエスチョン

• RQ1 スケーリング要因が8など高スケーリング要因において、三重項損失を組み込んだマルチステージGANは、単一段階のGANよりも優れた超解像性能を達成できるか？
• RQ2 三重項損失を用いた段階的改善は、ベースラインのGANおよび非GAN手法と比較して、画像品質および下流のセグメンテーション精度に顕著な向上をもたらすか？
• RQ3 本手法による超解像画像は、網膜血管のセグメンテーションおよび微小動脈瘤検出において、元の高解像度画像の性能にどの程度近づけるか？
• RQ4 本手法は、網膜フ立像および心臓MRIなどの異なる医用画像モダリティに一般化可能か？

主な発見

• スケーリング要因4において、提案されたP-SRGANはPSNR 43.7 dB、SSIM 0.83を達成し、SRGAN（34.1 dB、0.70）およびSRCNN（32.7 dB、0.69）を上回った。
• スケーリング要因8において、本手法はPSNR 41.3 dB、SSIM 0.79を達成し、SRGAN（31.7 dB、0.67）およびSSR（26.1 dB、0.59）を顕著に上回った。
• 心臓左室のセグメンテーションにおいて、P-GAN手法はスケーリング要因4でDiceスコア91.3、HD 6.9を達成し、SRGAN（86.4、9.0）およびSRCNN（84.8、9.7）を上回った。
• P-GANで超解像化された画像を用いたセグメンテーション精度は、元の高解像度画像を用いたものとほとんど区別がつかず、強力な臨床的実用性を示した。
• 両方のモダリティ（網膜および心臓MRI）の結果において、視覚的にも、本手法はベースラインのGANおよび非GAN手法と比較して、ぼやけやアーチファクトを低減した。
• 三重項損失の導入により、特に高スケーリング要因において、段階ごとの品質向上が一貫して実現され、段階的改善メカニズムの有効性が裏付けられた。