[논문 리뷰] Synthesizing Filamentary Structured Images with GANs

He Zhao, Huiqi Li외 1명|arXiv (Cornell University)|2017. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 20

한 줄 요약

이 논문은 이진 기준 지도를 입력으로 사용하는 GAN 기반 모델인 Fila-GAN과 Fila-sGAN을 제안한다. 이 모델들은 망막 및 신경세포 이미지와 같은 실재감 있는 필라멘터리 구조를 가진 생물의학 영상들을 합성한다. 이 방법은 최소 10개의 훈련 예제로부터 다양하고 고품질의 가짜 영상을 생성하며, 데이터 증강을 통해 후속 분할 성능을 최대 1.18% 향상시킨다.

ABSTRACT

This paper aims at synthesizing filamentary structured images such as retinal fundus images and neuronal images, as follows: Given a ground-truth, to generate multiple realistic looking phantoms. A ground-truth could be a binary segmentation map containing the filamentary structured morphology, while the synthesized output image is of the same size as the ground-truth and has similar visual appearance to what have been presented in the training set. Our approach is inspired by the recent progresses in generative adversarial nets (GANs) as well as image style transfer. In particular, it is dedicated to our problem context with the following properties: Rather than large-scale dataset, it works well in the presence of as few as 10 training examples, which is common in medical image analysis; It is capable of synthesizing diverse images from the same ground-truth; Last and importantly, the synthetic images produced by our approach are demonstrated to be useful in boosting image analysis performance. Empirical examination over various benchmarks of fundus and neuronal images demonstrate the advantages of the proposed approach.

연구 동기 및 목표

• 수동 분할이 비용이 많이 들고 희소한 망막 및 신경세포 영상 분석에서 제한된 애너테이션된 생물의학 영상 문제를 해결한다.
• 대규모 데이터 컬렉션을 요구하지 않고도 소규모 데이터셋에서 효과적으로 작동하는 데이터 기반 영상 합성 방법을 개발한다 — 이는 의료 영상에서 흔한 상황이다.
• 단일 기준 지도 입력으로부터 다양한 실재감 있는 가짜 영상(phantoms)을 생성하여 훈련을 위한 데이터 다양성을 향상시킨다.
• 합성된 영상이 훈련 데이터로 사용될 경우 후속 영상 분할 모델의 성능 향상 여부를 입증한다.
• 기존의 규칙 기반 또는 도메인 지식에 의존하는 방법과 다름없이, 스타일 전이 원리를 통합한 종단 간 GAN 기반의 새로운 접근법을 제공한다.

제안 방법

• 조건부 GAN을 변형하여 이진 분할 지도를 입력으로 받아 필라멘터리 구조 영상을 생성한다.
• 실제 영상의 현실적인 질감과 외관을 합성 출력으로 전달하기 위해 스타일 전이 기법을 GAN 아키텍처에 통합한다.
• STARE 및 DRIVE와 같은 벤치마크에서 최소 10개의 실제 영상으로 훈련하여 소수의 예제 학습을 가능하게 한다.
• 미세한 필라멘터리 구조를 유지하고 시각적 현실감을 향상시키기 위해 다중 척도 디스크림ิน레이터와 인지적 손실을 사용한다.
• 두 가지 변종을 훈련한다: Fila-GAN(기본 GAN)과 Fila-sGAN(스타일 정규화된 GAN)이며, 후자는 스타일 일관성을 강조한다.
• 실제 영상 패치와 결합된 400만 개의 합성 영상 패치를 생성하여 훈련 데이터를 증강하고, 이를 통해 분할 모델을 보정한다.

실험 결과

연구 질문

• RQ1 10~20개의 실제 훈련 예제만으로도 GAN 기반 모델이 실재감 있는 필라멘터리 구조 영상을 효과적으로 합성할 수 있는가?
• RQ2 동일한 기준 지도 입력으로부터 다양한 시각적으로 타당한 가짜 영상(phantoms)을 생성할 수 있으며, 이는 데이터 다양성을 향상시키는가?
• RQ3 합성된 영상이 훈련 데이터로 사용될 경우 후속 영상 분할 모델의 성능 향상이 이루어지는가?
• RQ4 실제 영상 + 합성 영상으로 훈련된 분할 모델의 성능은 실제 영상만으로 훈련된 모델와 비교해 어떻게 되는가?
• RQ5 제안된 방법이 망막 후면도 및 신경세포 영상 등 다양한 생물의학 영상 유형에 일반화 가능한가?

주요 결과

• DRIVE 망막 영상 벤치마크에서 실제 영상 + 합성 영상으로 훈련한 분할 모델의 F1 스코어는 79.15%에서 80.33%로 향상되어 성능 향상이 명백하게 확인되었다.
• 2배의 실제 영상 훈련 설정(400만 개의 실제 패치)에서 F1 스코어가 80.70%로 가장 높은 성능을 기록하여, 합성 영상이 유용하지만 실제 영상의 전적인 대체는 아니라는 점을 확인했다.
• Fila-sGAN 변종의 경우 실제 영상 + 합성 영상 훈련 설정에서 DRIVE에서 80.49%의 F1 스코어를 기록하여 두 모델 변종 모두에서 일관된 성능 향상이 이루어졌음을 보여주었다.
• 시각적 비교 결과, 실제 영상으로 훈련된 분할 모델은 합성 가짜 영상으로도 잘 일반화되었으며, 약간의 거짓 양성 반응이 줄었지만 얇은 혈관 세그먼트가 더 많이 누락되었다.
• 합성된 영상들은 시각적으로 현실감 있고 다양하였으며, 주로 다양한 샘플 간의 얇고 섬세한 필라멘터리 구조에서 변형이 나타났다.
• 기존의 베이스라인 모델보다 성능이 뛰어나고, DRIU(82.20% F1 스코어)와 같은 최신 기술 수준의 분할 방법과 경쟁 가능한 결과를 기록하여 데이터 증강 잠재력이 매우 높다는 것을 시사한다.