[논문 리뷰] Towards Adversarial Retinal Image Synthesis

Pedro Costa, Adrián Galdrán외 5명|arXiv (Cornell University)|2017. 01. 31.

Retinal Imaging and Analysis참고 문헌 16인용 수 76

한 줄 요약

논문은 이진 혈관 트리로부터 망막 안저 이미지를 합성하기 위해 적대적 학습이 포함된 이미지-대-이미지 변환 프레임워크를 사용하고, U-Net 혈관 분할을 통해 생성된 혈관-혈관 트리 쌍 데이터를 학습 데이터로 활용한다.

ABSTRACT

Synthesizing images of the eye fundus is a challenging task that has been previously approached by formulating complex models of the anatomy of the eye. New images can then be generated by sampling a suitable parameter space. In this work, we propose a method that learns to synthesize eye fundus images directly from data. For that, we pair true eye fundus images with their respective vessel trees, by means of a vessel segmentation technique. These pairs are then used to learn a mapping from a binary vessel tree to a new retinal image. For this purpose, we use a recent image-to-image translation technique, based on the idea of adversarial learning. Experimental results show that the original and the generated images are visually different in terms of their global appearance, in spite of sharing the same vessel tree. Additionally, a quantitative quality analysis of the synthetic retinal images confirms that the produced images retain a high proportion of the true image set quality.

연구 동기 및 목표

• 합성 망막 데이터 생성을 통해 한정된 주석 데이터셋을 보강하려는 동기 부여.
• 이진 망막 혈관 트리를 현실적인 망막 이미지로 매핑하는 데이터 기반 파이프라인 제안.
• 적대적 학습을 활용해 혈관 구조를 보존하면서 고품질의 합성 안저 이미지를 생성하도록 하는 방법.

제안 방법

• 실제 망막 이미지를 U-Net 분할 모델을 통해 얻은 이진 혈관 트리와 짝지운다.
• 생성기 G와 구분기 D를 갖는 이미지-대-이미지 변환 프레임워크를 사용해 혈관 트리를 망막 이미지로 매핑한다.
• 적대적 손실과 로컬 L1 손실을 결합해 선명하지만 전역적으로 일관된 이미지를 생성한다: L(G,D)=L_adv(G,D)+λ E[||r−G(v)||1].
• D를 이미지 패치를 실제/합성으로 분류하도록 학습하고 G를 D를 속이도록 학습하면서 L1 항을 최소화한다.
• 512x512 입력/출력을 다루도록 다운샘플링 경로와 업샘플링 경로에 처리 레이어를 추가하여 생성기 아키텍처를 업그레이드한다.

실험 결과

연구 질문

• RQ1 이진 혈관 트리로부터 망막 이미지를 전역 구조와 현실감을 보존하며 합성할 수 있는가?
• RQ2 표준 비참조(no-reference) 품질 지표 하에서 합성 망막 이미지가 실제 이미지에 얼마나 근접하는가?
• RQ3 합성 망막 이미지를 평가할 때 비참조 혈관 중심 지표와 전역 이미지 구조 지표 간의 차이가 어떤 영향을 미치는가?
• RQ4 혈관 트리 정보가 분할 오류로 인해 불완전하거나 저하될 때 어떤 실패 모드가 발생하는가?

주요 결과

ISC 점수(평균)	ISC 점수(표준편차)	Qv 점수(실제)	Qv 점수(합성)
실제 이미지	0.9872	0.0468	0.1254	0.0340
합성 이미지	0.9889	0.0398	0.1047	0.0136

• 합성 망막 이미지는 이진 혈관 트리에서 생성될 수 있으며 색상/조도에서 시각적으로 차이가 있지만 실제 이미지와 세계적 혈관 기하학을 공유한다.
• 정량적 평가는 실제 이미지와 합성 이미지의 ISC 점수가 유사하다고 나타내며(0.9872±0.0468 대 0.9889±0.0398; 항목 제거 후 p>0.05).
• Qv 점수는 실제 이미지가 합성 이미지보다 높다(0.1254±0.0340 대 0.1047±0.0136; p<0.05).
• 혈관 트리가 분할 실패로 불완전해질 경우 약 177개 테스트 케이스 중 약 6건에서 인공물이 생겨 혈관 트리 품질에 의존적임을 시사한다.