[論文レビュー] Towards Adversarial Retinal Image Synthesis

Pedro Costa, Adrián Galdrán+5 more|arXiv (Cornell University)|Jan 31, 2017

Retinal Imaging and Analysis参考文献 16被引用数 76

ひとこと要約

この論文は、二値血管ツリーから網膜眼底画像を合成するために、敵対的学習を用いた画像対image翻訳フレームワークを用い、U-Net血管分割を介して生成された血管-血管ツリーデータの対があるデータで訓練される。

ABSTRACT

Synthesizing images of the eye fundus is a challenging task that has been previously approached by formulating complex models of the anatomy of the eye. New images can then be generated by sampling a suitable parameter space. In this work, we propose a method that learns to synthesize eye fundus images directly from data. For that, we pair true eye fundus images with their respective vessel trees, by means of a vessel segmentation technique. These pairs are then used to learn a mapping from a binary vessel tree to a new retinal image. For this purpose, we use a recent image-to-image translation technique, based on the idea of adversarial learning. Experimental results show that the original and the generated images are visually different in terms of their global appearance, in spite of sharing the same vessel tree. Additionally, a quantitative quality analysis of the synthetic retinal images confirms that the produced images retain a high proportion of the true image set quality.

研究の動機と目的

• 限られた注釈付き医療データセットを拡張するための合成網膜データ生成を動機づける。
• 2値の網膜血管ツリーを現実的な網膜画像に写像するデータ駆動型パイプラインを提案する。
• 血管構造を保持しつつ高品質な合成眼底画像を生成するために敵対的学習を活用する。

提案手法

• 実画像とU-Net分割モデルで得られた二値血管ツリーをペアリングする。
• 生成器Gと識別器Dを用いた画像対画像翻訳フレームワークを用いて血管ツリーを網膜画像へ写像する。
• 敵対的損失と局所的L1損失を組み合わせて、シャープでありつつ全体として一貫性のある画像を生成する: L(G,D)=L_adv(G,D)+λ E[||r−G(v)||1]。
• Dを画像パッチを実画像 vs 合成画像として分類するように訓練し、GをDを欺くよう訓練しつつL1項を最小化する。
• 512x512の入力/出力を扱えるように、下りサンプリングと上りサンプリングの経路の両方に処理層を追加してジェネレータアーキテクチャをアップグレードする。

実験結果

リサーチクエスチョン

• RQ1 二値の血管ツリーから網膜画像を妥当に合成し、全体の構造とリアリズムを保持できるか？
• RQ2 標準的なノーリファレンス品質指標の下で、合成網膜画像は実画像にどれだけ近いか？
• RQ3 合成網膜画像を評価する際、ノーリファレンスの血管焦点指標と全体的な画像構造指標を使用することの影響は？
• RQ4 血管ツリー情報が不完全であったりセグメンテーション誤差で劣化した場合、どのようなフォールトモードが発生するか？

主な発見

ISCスコア（平均）	ISCスコア（標準偏差）	Qvスコア（実画像）	Qvスコア（合成画像）
実画像	0.9872	0.0468	0.1254	0.0340
合成画像	0.9889	0.0398	0.1047	0.0136

• 二値血管ツリーから合成網膜画像を生成でき、色調/照明は実画像と視覚的には異なるが、全球的な血管幾何学は実画像と共有する。
• 定量評価は、実画像と合成画像のISCスコアがほぼ同様であることを示す（0.9872±0.0468 vs 0.9889±0.0398; アーチファクト除去後はp>0.05）。
• Qvスコアは実画像の方が合成画像より高い（0.1254±0.0340 vs 0.1047±0.0136; p<0.05）。
• セグメンテーション失敗による血管ツリーの不完全さに起因する約177件中6件のテストケースでアーチファクトが発生し、血管ツリー品質に依存することを示す。