[論文レビュー] Retinal Vasculature Segmentation Using Local Saliency Maps and Generative Adversarial Networks For Image Super Resolution

Dwarikanath Mahapatra, Behzad Bozorgtabar|arXiv (Cornell University)|Oct 13, 2017

Advanced Image Processing Techniques参考文献 88被引用数 39

ひとこと要約

本稿では、曲率とエントロピーに基づく特徴マップから導出される局所的顕著マップを組み込んだ、新しい顕著損失関数を用いたGANベースの網膜後頭部画像スーパーレゾリューション手法を提案する。この手法により、知覚的品質の向上と構造的保存性の強化が達成され、スーパーレゾリューション性能が最先端水準に達し、特に16×までのスケーリング要因において、元の高解像度画像とほぼ同等の網膜血管分離精度を達成する。

ABSTRACT

We propose an image super resolution(ISR) method using generative adversarial networks (GANs) that takes a low resolution input fundus image and generates a high resolution super resolved (SR) image upto scaling factor of $16$. This facilitates more accurate automated image analysis, especially for small or blurred landmarks and pathologies. Local saliency maps, which define each pixel's importance, are used to define a novel saliency loss in the GAN cost function. Experimental results show the resulting SR images have perceptual quality very close to the original images and perform better than competing methods that do not weigh pixels according to their importance. When used for retinal vasculature segmentation, our SR images result in accuracy levels close to those obtained when using the original images.

研究の動機と目的

• 微小な病変や細い血管構造の正確な検出を制限する低解像度の網膜後頭部画像の課題に対処すること。
• 既存のGANベースのスーパーレゾリューション手法が、高スケーリング要因（例：16×）において局所的構造的詳細を十分に保持できないという限界を克服すること。
• 局所的顕著マップを用いてピクセルの知覚的重要性に基づいて重み付けを行う新しい損失関数を構築し、画像の忠実性を向上させること。
• 提案手法で生成されたスーパーレゾリューション画像が、元の高解像度画像とほぼ同等の網膜血管分離性能を達成できることを示すこと。

提案手法

• 網膜画像の局所的構造的情報を捉えるために、2階微分を用いた曲率マップを計算する。
• 7×7近傍におけるエントロピーを計算して、網膜構造の凝集性と連続性を定量化し、逆数をとり正規化することで凝集性の高い領域を強調する。
• 曲率と逆数エントロピー特徴の絶対差分マップを組み合わせ、学習可能なバランスパラメータ（w₁ = 0.4）で重み付けすることで、局所的顕著マップを構築する。
• 顕著マップを、標準的なMSEまたは特徴ベースの損失関数に代わる重み付き知覚的損失として、GAN損失関数に統合する。
• 判別器を用いて、実際の高解像度画像と生成されたスーパーレゾリューション画像を区別するように、ResNetベースの生成器を adversarial training で学習させる。
• 提案された顕著マップに基づく損失とCNN特徴損失を組み合わせたハイブリッド損失を用い、構造的品質と知覚的品質の両方を維持する。

実験結果

リサーチクエスチョン

• RQ1 曲率とエントロピー特徴から導出される局所的顕著マップは、標準的なGAN損失関数と比較して、スーパーレゾリューション網膜画像の知覚的品質を向上させることができるか？
• RQ2 顕著マップによるピクセル単位の重要性の組み込みにより、細い血管分岐部や微小動脈瘤などの微細な網膜構造の保存が向上するか？
• RQ3 提案されたスーパーレゾリューション手法は、元の高解像度画像とほぼ同等の網膜血管分離精度を達成できるか、その程度はどの程度か？
• RQ4 16×までの高スケーリング要因において、定量的指標（SSIM、PSNR、RMSE）および視覚的品質の観点から、最先端のGANベースおよび非GANベースのスーパーレゾリューション手法と比較して、本手法はどのように優れているか？

主な発見

• 提案手法SRGAN_Salは、4×スケーリングにおいてSSIM = 0.83、RMSE = 6.9、PSNR = 38.6 dBを達成し、SRGAN_Ledigおよび他のベースラインを上回る性能を示した。
• 16×スケーリングにおいても、高い知覚的品質を維持し、微細な網膜構造を良好に保持しており、視覚的比較では、競合手法と比較してより明確な微小血管分岐部が得られている。
• DRIVEデータセットを用いた網膜血管分離において、SRGAN_Salは4×スケーリングで正答率（Acc）が0.96、感度（Sen）が0.77を達成し、真値（Acc = 0.98、Sen = 0.79）に非常に近い性能を示した。
• CNN損失を除いた顕著マップに基づく損失のみを用いても、4×スケーリングでSSIM = 0.81を達成し、構造的コンテンツの保存性の有効性が示された。
• 顕著マップ損失とCNN損失の組み合わせは、個別の損失よりも顕著に性能向上をもたらし、Wilcoxon符号順位検定によるp値が統計的有意性を示した。
• 視覚的比較では、SRGAN_Salはシャープで明瞭な血管細胞を生成している一方、SRGAN_Ledig や SRCNN などの競合手法は、特に微細構造において顕著なぼやけ具合を示していた。