[論文レビュー] How Can We Make GAN Perform Better in Single Medical Image Super-Resolution? A Lesion Focused Multi-Scale Approach

Jin Zhu, Guang Yang+1 more|arXiv (Cornell University)|Jan 10, 2019

Advanced Image Processing Techniques参考文献 23被引用数 12

ひとこと要約

本稿では、脳腫瘍MRIにおける1枚の医療画像の超解像に向け、病変領域に注目したマルチスケール GAN（LFSR-MS-GAN）を提案する。病変領域に注目することで、より自然な質感と安定性を実現する。本手法は、平均意見スコア（MOS）が3.26±0.626に達し、実地画像に近い水準の知覚的品質を達成するとともに、アーチファクトを低減し、重要な病変の詳細を保持する。

ABSTRACT

Single image super-resolution (SISR) is of great importance as a low-level computer vision task. The fast development of Generative Adversarial Network (GAN) based deep learning architectures realises an efficient and effective SISR to boost the spatial resolution of natural images captured by digital cameras. However, the SISR for medical images is still a very challenging problem. This is due to (1) compared to natural images, in general, medical images have lower signal to noise ratios, (2) GAN based models pre-trained on natural images may synthesise unrealistic patterns in medical images which could affect the clinical interpretation and diagnosis, and (3) the vanilla GAN architecture may suffer from unstable training and collapse mode that can also affect the SISR results. In this paper, we propose a novel lesion focused SR (LFSR) method, which incorporates GAN to achieve perceptually realistic SISR results for brain tumour MRI images. More importantly, we test and make comparison using recently developed GAN variations, e.g., Wasserstein GAN (WGAN) and WGAN with Gradient Penalty (WGAN-GP), and propose a novel multi-scale GAN (MS-GAN), to achieve a more stabilised and efficient training and improved perceptual quality of the super-resolved results. Based on both quantitative evaluations and our designed mean opinion score, the proposed LFSR coupled with MS-GAN has performed better in terms of both perceptual quality and efficiency.

研究の動機と目的

• 低解像度の脳腫瘍 MRI スキャンから、現実的でアーチファクトのない超解像医療画像を生成する課題に対処すること。
• 標準的な GAN が医療画像処理において抱える限界、すなわち訓練の不安定性、モード崩壊、現実的でないテクスチャの合成を克服すること。
• 超解像の過程でネットワークの注目を病変領域に集中させることで、知覚的品質と診断的関連性を向上させること。
• 従来の GAN（vanilla GAN）、WGAN、WGAN-GP、および新規の MS-GAN を含む GAN のバリエーションを、医療画像超解像において評価・比較すること。
• 臨床的関連性をよりよく評価するため、専門放射線科医の判断を組み込んだ平均意見スコア（MOS）を導入し、PSNR/SSIM にとどまらない評価を実施すること。

提案手法

• 低解像度 MRI スキャンにおける腫瘍領域を特定・局在化するため、病変検出ネットワーク（LD）を用いる。
• 病変に注目した超解像（LFSR）フレームワークは、生成器が病変領域における再構成の忠実度を優先するように制約し、放射線科医の注目を模倣する。
• スケール間で階層的な特徴抽出とスキップ接続を組み合わせた、新規のマルチスケール GAN（MS-GAN）アーキテクチャを提案する。これにより、テクスチャ回復とエッジ再現性が向上する。
• MS-GAN は、リアリズム、詳細、忠実度のバランスをとるために、敵対的損失、知覚的損失（VGGベース）、および平均二乗誤差（MSE）損失を併用する。
• 訓練の安定性とサンプル品質の向上を図るため、vanilla GAN の代替として、ワッサーシュタイン GAN（WGAN）と勾配ペナルティを用いた WGAN（WGAN-GP）を評価する。
• 生成器は、勾配ペナルティを用いてリプシッツ連続性を強制することで、実際の高解像度画像と生成された超解像出力の区別を行うディスクラミネーターと、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 病変に注目したアプローチは、超解像された脳腫瘍 MRI 画像の知覚的品質と診断的関連性を向上させることができるか？
• RQ2 WGAN と WGAN-GP は、医療画像超解像において、vanilla GAN と比較して訓練の安定性と知覚的品質に優れているか？
• RQ3 マルチスケール GAN アーキテクチャは、単一スケール生成器と比較して、超解像医療画像のテクスチャとエッジ詳細を向上させることができるか？
• RQ4 専門家による平均意見スコア（MOS）を組み込むことで、PSNR や SSIM といった従来の指標に比べ、より臨床的意味のある評価が可能になるか？
• RQ5 提案された LFSR-MS-GAN 法は、病変領域に存在しない特徴の合成を低減するとともに、信号対雑音比（SNR）を向上させることができるか？

主な発見

• 提案された LFSR と MS-GAN は、最高の平均意見スコア（MOS）3.26±0.626 を達成し、他の GAN バリエーションを顕著に上回り、実地画像の MOS（3.28±0.838）に近い水準に達した。
• WGAN-GP と WGAN は、vanilla GAN よりも知覚的品質と高い MOS を達成し、WGAN-GP は MOS 3.10±0.686、WGAN は MOS 3.09±0.694 を記録した。
• LFSR-MS-GAN 法は、アーチファクトのアリーサスを効果的に低減し、図4で視覚的に確認されたように、病変のエッジとテクスチャを強化した。これは、実地画像の SNR が低くても同様に有効であった。
• SRResNet は、最高の PSNR（27.2±1.96）と SSIM（0.806±0.0499）を達成したが、病変の詳細がなめらかに処理され、診断的有用性が低下した。これは、定量的スコアが高くても、診断に必要な詳細の保持が不十分であることを示している。
• MS-GAN の訓練コストは 422.2s/エポック と、SRResNet（229.6s/エポック）よりも高かったが、収束が早く、知覚的品質も優れていた。これは、臨床応用においても有利なトレードオフである。
• 本研究では、PSNR や SSIM のみでは医療画像超解像の評価が不十分であることが示された。これらは、ぼんやりとしたが現実的な出力に傾倒する傾向があり、診断に必要な詳細の保持を損なう可能性がある。