[論文レビュー] Generating Fundus Fluorescence Angiography Images from Structure Fundus Images Using Generative Adversarial Networks

Wanyue Li, Wen Kong+5 more|arXiv (Cornell University)|Jan 29, 2020

Retinal Imaging and Analysis被引用数 2

ひとこと要約

本稿では、構造的フンダス画像から合成された蛍光アンギオグラフィ（FA）画像に変換する条件付き生成対抗ネットワーク（cGAN）を提案し、侵襲的でない血管可視化を可能にする。局所的な注目度マップを新たな注目度損失に統合することで、小血管および漏れの特徴の再構成精度が向上し、侵襲的なFA撮影の代替手段として安全である。

ABSTRACT

Fluorescein angiography can provide a map of retinal vascular structure and function, which is commonly used in ophthalmology diagnosis, however, this imaging modality may pose risks of harm to the patients. To help physicians reduce the potential risks of diagnosis, an image translation method is adopted. In this work, we proposed a conditional generative adversarial network(GAN) - based method to directly learn the mapping relationship between structure fundus images and fundus fluorescence angiography images. Moreover, local saliency maps, which define each pixel's importance, are used to define a novel saliency loss in the GAN cost function. This facilitates more accurate learning of small-vessel and fluorescein leakage features.

研究の動機と目的

• 侵襲的な蛍光アンギオグラフィ（FA）による患者のリスクを低減するため、非侵襲的な構造的フンダス画像から合成FA画像を生成すること。
• 深層学習を用いて、合成FA画像における細かな血管および漏れの特徴を保持する課題に対処すること。
• ピクセル単位の重要度を強調する注目度に配慮した損失関数を導入することで、生成FA画像の特徴の忠実度を向上させること。
• 構造的および機能的網膜画像モodalities間の複雑なマッピングを学習するGANベースの画像間変換フレームワークを構築すること。

提案手法

• 構造的フンダス画像から対応する蛍光アンギオグラフィ（FA）画像へのマッピングを学習するため、条件付き生成対抗ネットワーク（cGAN）を訓練する。
• 小血管および漏れ領域など、診断上重要なピクセルを特定するために、局所的な注目度マップを計算する。
• これらの注目度マップに基づいて対抗損失を重み付けすることで、新しい注目度損失を導入し、重要な解剖学的特徴に焦点を当てる。
• 生成器ネットワークは、対抗損失、L1再構成損失、および注目度重み付き損失を組み合わせた損失関数を用いて最適化する。
• 識別器ネットワークは、実際のFA画像と生成画像を区別することで、出力に現実的なテクスチャおよび血管パターンを保証する。
• 特徴のセグメンテーションやアノテーションを明示的に必要とせず、ペア化された構造的およびFA画像を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 侵襲的プロシージャーを伴わずに、深層生成モデルが構造的フンダス画像から蛍光アンギオグラフィ画像を正確に合成できるか？
• RQ2 局所的な注目度マップを統合することで、生成FA画像における小血管および漏れ特徴の忠実度がどのように向上するか？
• RQ3 提案された注目度に配慮した損失関数は、標準的なGAN損失と比較して、どの程度診断的関連性が向上するか？
• RQ4 モデルは、生成FA出力において臨床的に関連する血管パターンおよび病変を保持しているか？

主な発見

• 提案手法は、細かな血管構造および漏れ特徴を高い忠実度で保持する合成FA画像を効果的に生成した。
• 損失関数に注目度マップを統合することで、モデルの小血管および病理的漏れ領域の再構成能力が顕著に向上した。
• 注目度に配慮した損失は、構造的類似性および知覚的品質の向上によって、標準的なGAN損失と比較してより正確な特徴学習を実現した。
• モデルは、実際のFA画像と同等の知覚的品質を達成しており、臨床的意思決定支援における応用可能性を示唆している。