[論文レビュー] Generative Adversarial Networks Synthesize Realistic OCT Images of the Retina

Stephen G. Odaibo, D., M.+2 more|arXiv (Cornell University)|Feb 18, 2019

Retinal Imaging and Analysis参考文献 33被引用数 5

ひとこと要約

本研究では、網膜の光学干渉断層画像（OCT）を現実的に再現するための生成対抗ネットワーク（GAN）のエンドツーエンド応用を初めて実現した。50万枚の拡張済みOCT画像で訓練された条件付きGANアーキテクチャを用い、マクローラルホール、クレストイドマクローラル浮腫、中心性血清性網膜症を含む多様な網膜病変を再現する高精細な画像を効果的に生成した。本研究は、手術シミュレーション、治療計画立案、新薬開発への応用可能性を示している。

ABSTRACT

We report, to our knowledge, the first end-to-end application of Generative Adversarial Networks (GANs) towards the synthesis of Optical Coherence Tomography (OCT) images of the retina. Generative models have gained recent attention for the increasingly realistic images they can synthesize, given a sampling of a data type. In this paper, we apply GANs to a sampling distribution of OCTs of the retina. We observe the synthesis of realistic OCT images depicting recognizable pathology such as macular holes, choroidal neovascular membranes, myopic degeneration, cystoid macular edema, and central serous retinopathy amongst others. This represents the first such report of its kind. Potential applications of this new technology include for surgical simulation, for treatment planning, for disease prognostication, and for accelerating the development of new drugs and surgical procedures to treat retinal disease.

研究の動機と目的

• 臨床的に関連する病変を有する現実的で信頼性の高い網膜OCT画像を合成できる生成モデルの開発。
• 網膜疾患研究における限られた医療画像データセットの拡張にGANを用いる可能性の検討。
• 訓練データに存在しない新しい、多様で解剖学的に妥当な網膜病変をGANが生成できるかの評価。
• 合成OCT画像が医学教育、手術シミュレーション、治療開発の分野で実際に有用であるかの評価。

提案手法

• Kerasを用いて8コアのNVIDIA V100 GPU（600 GB RAM）で深層畳み込みGANを実装した。
• 生成器は、ランダムノイズベクトルを2次元のOCTに類似した画像にアップサンプリングするために、逆畳み込み層とLeakyReLU活性化関数を用い、すべての層でバッチ正規化を適用した。
• 識別器はシグモイド活性化関数を用い、バッチ正規化は適用せず、バイナリクロスエントロピー損失により実画像と生成画像を分類した。
• 50万枚の拡張済みOCT画像（正常網膜および複数の病変を含む）を用いて、10万エポックにわたり訓練を実施した。
• 標準的なGANの敵対的損失を用い、潜在ベクトルサイズ100で、誤差逆伝播により生成器および識別器の損失を最小化するように訓練した。
• 収束性および敵対的安定性を評価するため、訓練全体を通じて損失曲線をモニタリングした。変動は、生成器と識別器の間の継続的な競争を示していた。

実験結果

リサーチクエスチョン

• RQ1 GANは、既知の病変特徴を反映した現実的で臨床的に妥当な網膜OCT画像を生成できるか？
• RQ2 GANモデルは、訓練データに明示的に含まれない新しいまたは希少な網膜病変をどの程度一般化して生成できるか？
• RQ3 高解像度で複雑な医療画像データ（OCTなど）に適用した場合、GANの訓練プロセスはどの程度安定的かつ収束的か？
• RQ4 合成画像は、手術シミュレーションや治療計画といった下流の応用において意味的に有用に使用できるか？
• RQ5 合成OCT画像の品質および有用性を評価するにあたり、分野特化の知識はどのような役割を果たすか？

主な発見

• 99,800エポックの訓練後、GANはマクローラルホールや網膜下液を含む複雑な病変特徴を有する高精細で現実的な網膜OCT画像を効果的に生成した。
• モデルは、クレストイドマクローラル浮腫、滲出性および非滲出性黄斑変性、中心性血清性網膜症を含む、複数の網膜病変の画像を合成する能力を示した。
• 生成器および識別器の損失曲線は、ゼロに漸近的に収束する傾向を示したが、持続的な変動を示しており、表面的安定化にかかわらず、継続的な敵対的訓練が行われていることを示した。
• 初期の訓練ダイナミクスは、生成器と識別器の損失が交差する現象を示し、初期段階で識別器の優位性とその後の生成器の改善が確認された。
• 最終的な生成画像は、臨床的外観において実際のOCTスキャンと見分けることができず、実データとの分布の整合性が強いことを示唆した。
• 本研究は、網膜OCT画像のエンドツーエンド合成にGANを初めて報告したものであり、医療画像研究および応用分野における新たな道を切り開いた。