[논문 리뷰] Learning More with Less: GAN-based Medical Image Augmentation

Changhee Han, Kohei Murao외 2명|arXiv (Cornell University)|2019. 03. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 11

한 줄 요약

이 논문은 부족한 애너테이션 데이터셋 문제를 해결하기 위해 의료 영상에 기반한 GAN 기반 데이터 증강 프레임워크를 제안한다. 이는 분류, 검출 및 분할 작업에서 성능을 향상시키는 현실적이고 다양한 합성 영상을 생성한다. 약한 애너테이션된 경계 상자(박스)를 사용하여 뇌 전이성 종양 검출 민감도를 10% 향상시키며, 임상적으로 수용 가능한 가짜 양성 결과를 유지한다. 이는 노이즈가 많은 애너테이션 조건에서도 강건함을 보여준다.

ABSTRACT

Convolutional Neural Network (CNN)-based accurate prediction typically requires large-scale annotated training data. In Medical Imaging, however, both obtaining medical data and annotating them by expert physicians are challenging; to overcome this lack of data, Data Augmentation (DA) using Generative Adversarial Networks (GANs) is essential, since they can synthesize additional annotated training data to handle small and fragmented medical images from various scanners--those generated images, realistic but completely novel, can further fill the real image distribution uncovered by the original dataset. As a tutorial, this paper introduces GAN-based Medical Image Augmentation, along with tricks to boost classification/object detection/segmentation performance using them, based on our experience and related work. Moreover, we show our first GAN-based DA work using automatic bounding box annotation, for robust CNN-based brain metastases detection on 256 x 256 MR images; GAN-based DA can boost 10% sensitivity in diagnosis with a clinically acceptable number of additional False Positives, even with highly-rough and inconsistent bounding boxes.

연구 동기 및 목표

• 딥 러닝 모델 훈련을 위한 제한된 애너테이션된 의료 영상 데이터 문제를 해결하기 위해.
• 실제 데이터 분포를 모방하면서도 다양하고 현실적인 합성 의료 영상을 생성하는 GAN 기반 데이터 증강 기법을 개발하기 위해.
• 최소한의 약한 애너테이션된 데이터를 사용하여 의료 영상 분류, 객체 검출 및 분할 작업의 성능을 향상시키기 위해.
• 임상 환경에서 흔히 볼 수 있는 저품질 경계 상자 애너테이션 조건 하에서 방법의 강건성 평가하기 위해.
• 임상적으로 실현 가능함을 입증하기 위해, 가짜 양성 결과의 증가를 수용 가능한 수준으로 유지하면서 민감도 향상을 달성하기 위해.

제안 방법

• 소규모이고 분할된 의료 영상 데이터셋에 기반하여 조건부 GAN을 훈련시켜 현실적인 합성 영상을 생성한다.
• 생성 과정을 유도하기 위해 약하거나 노이즈가 있는 경계 상자 애너테이션을 조건으로 사용한다.
• 실제 데이터의 분포를 재현하면서도 새로운 현실적인 변형을 도입한 합성 영상을 생성한다.
• 실제 영상과 합성 영상을 조합한 증강 데이터셋을 사용하여 분류 및 검출과 같은 후속 작업을 위한 CNN을 미세조정한다.
• 고품질의 이미지와 다양성을 보장하기 위해 사이클 일致성과 적대적 훈련을 활용한다.
• 뇌 전이성 종양이 있는 256×256 T1 강도 영상에 대해 약한 경계 상자 애너테이션을 사용하여 검증한다.

실험 결과

연구 질문

• RQ1 제한된 애너테이션 데이터가 있는 조건에서 GAN 기반 데이터 증강 기법이 의료 영상 분석에서 CNN 성능을 크게 향상시킬 수 있는가?
• RQ2 훈련 데이터가 부족하고 애너테이션이 노이즈가 많거나 일관성이 없을 경우 GAN 기반 증강 기법의 효과는 어떠한가?
• RQ3 가짜 양성 결과의 증가가 금기할 정도로 크지 않은 조건에서 합성 데이터가 뇌 전이성 종양 검출 민감도 향상에 얼마나 기여하는가?
• RQ4 GAN 훈련 중에 약한 경계 상자 애너테이션을 사용하더라도 임상적으로 유용한 합성 데이터를 생성할 수 있는가?
• RQ5 생성된 합성 영상이 원래 데이터셋이 커버하지 못한 실제 데이터 분포의 격차를 효과적으로 메울 수 있는가?

주요 결과

• 제안된 GAN 기반 데이터 증강 기법은 기준 모델 대비 뇌 전이성 종양 검출 민감도를 10% 향상시켰다.
• 성능 향상은 임상적으로 수용 가능한 수준의 가짜 양성 결과 증가와 함께 달성되었다.
• 조건으로 사용된 경계 상자 애너테이션이 매우 거칠고 일관성이 없더라도 방법의 효과성이 유지되었다.
• GAN가 생성한 합성 영상들은 현실적이며 다양했으며, 원래의 소규모 데이터셋을 초월한 데이터 분포 확장을 효과적으로 수행했다.
• 약한 감독 조건 하에서도 강건성을 입증하여 실제 임상 데이터의 제한된 애너테이션 품질 조건에서도 실용 가능함을 보였다.
• 결과적으로 GAN 기반 증강 기법이 의료 영상 인공지능 분야에서 데이터 효율성 장벽을 크게 줄일 수 있음을 시사한다.