[논문 리뷰] Generative Adversarial Networks Synthesize Realistic OCT Images of the Retina

Stephen G. Odaibo, D., M.외 2명|arXiv (Cornell University)|2019. 02. 18.

Retinal Imaging and Analysis참고 문헌 33인용 수 5

한 줄 요약

이 연구는 망막의 실감나는 광학 간섭 단층촬영(OCT) 영상을 합성하기 위해 생성적 적대 기반 네트워크(GAN)를 처음으로 종단 간 응용한 것이다. 50만 장의 증강된 OCT 영상으로 훈련된 조건부 GAN 아키텍처를 사용하여, 매크룰 홀, 낭성 매크룰 부종, 중심성 혈청 망막병증 등을 포함한 다양한 망막 병변을 묘사한 고해상도 영상을 성공적으로 생성하였다. 이는 수술 시뮬레이션, 치료 계획 수립 및 신약 개발 분야에서의 잠재적 응용 가능성을 보여준다.

ABSTRACT

We report, to our knowledge, the first end-to-end application of Generative Adversarial Networks (GANs) towards the synthesis of Optical Coherence Tomography (OCT) images of the retina. Generative models have gained recent attention for the increasingly realistic images they can synthesize, given a sampling of a data type. In this paper, we apply GANs to a sampling distribution of OCTs of the retina. We observe the synthesis of realistic OCT images depicting recognizable pathology such as macular holes, choroidal neovascular membranes, myopic degeneration, cystoid macular edema, and central serous retinopathy amongst others. This represents the first such report of its kind. Potential applications of this new technology include for surgical simulation, for treatment planning, for disease prognostication, and for accelerating the development of new drugs and surgical procedures to treat retinal disease.

연구 동기 및 목표

• 임상적으로 관련성이 있는 병변을 포함한 현실적인 맹막 OCT 영상을 합성할 수 있는 생성 모델을 개발하는 것.
• 망막 질환 연구를 위한 제한된 의료 영상 데이터셋을 보완하기 위해 GAN을 사용할 수 있는지 탐색하는 것.
• 훈련 데이터에 존재하지 않는 새로운, 다양한, 해부학적으로 타당한 맹막 병변을 GAN이 생성할 수 있는지 평가하는 것.
• 합성된 OCT 영상이 의료 교육, 수술 시뮬레이션 및 치료 개발 등의 후속 응용 분야에서 의미 있게 사용될 수 있는지 평가하는 것.

제안 방법

• 딥 컨volution GAN은 8코어 NVIDIA V100 GPU와 600GB RAM을 사용하여 Keras에서 구현하였다.
• 생성자는 임의의 노이즈 벡터를 2차원 OCT 유사 영상으로 업샘플링하기 위해 디컨volution 레이어, LeakyReLU 활성화 함수 및 모든 레이어에 배치 정규화를 사용하였다.
• 판별자는 시그모이드 활성화 함수를 사용하고 배치 정규화 없이, 이진 교차 엔트로피 손실을 통해 진짜와 생성된 OCT 영상 간을 분류하였다.
• 50만 장의 증강된 OCT 영상 데이터셋(정상 맹막 및 여러 병변 포함)을 사용하여 총 100,000 에포크 동안 훈련을 수행하였다.
• 표준 GAN 적대적 손실을 사용하였으며, 크기가 100인 잠재 벡터를 사용하여 역전파를 통해 생성자 및 판별자 손실을 최소화하도록 훈련하였다.
• 수렴성과 적대적 안정성을 평가하기 위해 훈련 중 손실 곡선을 모니터링하였으며, 변동성이 지속됨으로써 생성자와 판별자 간의 지속적인 경쟁이 이루어지고 있음을 나타내었다.

실험 결과

연구 질문

• RQ1 GAN은 알려진 병리적 특징을 반영하는 현실적이고 임상적으로 타당한 맹막 OCT 영상을 생성할 수 있는가?
• RQ2 이 모델이 훈련 데이터에 명시적으로 포함되지 않은 새로운 또는 희귀한 맹막 병변을 얼마나 잘 일반화하여 생성할 수 있는가?
• RQ3 고해상도이고 복잡한 의료 영상 데이터인 OCT에 대해 GAN의 훈련 과정은 얼마나 안정적이고 수렴하는가?
• RQ4 합성된 영상은 수술 시뮬레이션 또는 치료 계획과 같은 후속 응용 분야에서 의미 있게 사용될 수 있는가?
• RQ5 합성된 OCT 영상의 품질과 유용성을 평가할 때 도메인 전문 지식은 어떤 역할을 하는가?

주요 결과

• 모델은 99,800번째 훈련 에포크 이후 고해상도의 현실적인 맹막 OCT 영상을 성공적으로 생성하였으며, 매크룰 홀과 망막하 체액과 같은 복잡한 병리적 특징까지 포함하였다.
• 모델은 낭성 매크룰 부종, 출혈성 및 비출혈성 매크룰 변성, 중심성 혈청 망막병증 등을 포함한 여러 맹막 병변의 영상을 합성할 수 있는 능력을 보였다.
• 생성자 및 판별자 손실 곡선은 점차 수렴하여 0에 가까워지며 지속적인 변동성을 보였으며, 이는 명백한 안정화 이후에도 지속적인 적대적 훈련이 이루어지고 있음을 나타내었다.
• 초기 훈련 동역학은 생성자 손실과 판별자 손실이 교차하는 경향을 보였으며, 이는 초기에 판별자가 우세했고 이후 생성자가 향상된 것과 일치하였다.
• 최종적으로 생성된 영상들은 임상적 외관에서 실제 OCT 스캔과 시각적으로 구별되지 않았으며, 실제 데이터와 강한 분포 일치를 보여주었다.
• 이 결과는 맹막 OCT 영상의 종단 간 합성에 대해 GAN을 처음으로 보고한 것으로, 의료 영상 연구 및 응용 분야에 새로운 길을 열었다.