[논문 리뷰] Red-GAN: Attacking class imbalance via conditioned generation. Yet another medical imaging perspective

Ahmad Bin Qasim, Ivan Ezhov외 8명|arXiv (Cornell University)|2020. 04. 22.

Digital Media Forensic Detection인용 수 33

한 줄 요약

Red-GAN는 뇌종양 세분화 및 피부 병변 분류 데이터셋에서의 클래스 불균형 문제를 해결하기 위해 픽셀 수준의 세분화 마스크와 전반적인 속성(예: 병변 유형 또는 촬영 프로토콜)을 조건으로 하는 조건부 생성 적대적 네트워크를 제안한다. 이는 생성된 이미지가 실제와 유사하면서도 특정 클래스의 특징을 유지하도록 하여 세분화 정확도를 향상시킨다. 수동 세분화 모듈을 적대적 훈련에 통합함으로써, 세분화에 유용한 특징을 생성하도록 유도한다.

ABSTRACT

Exploiting learning algorithms under scarce data regimes is a limitation and a reality of the medical imaging field. In an attempt to mitigate the problem, we propose a data augmentation protocol based on generative adversarial networks. We condition the networks at a pixel-level (segmentation mask) and at a global-level information (acquisition environment or lesion type). Such conditioning provides immediate access to the image-label pairs while controlling global class specific appearance of the synthesized images. To stimulate synthesis of the features relevant for the segmentation task, an additional passive player in a form of segmentor is introduced into the adversarial game. We validate the approach on two medical datasets: BraTS, ISIC. By controlling the class distribution through injection of synthetic images into the training set we achieve control over the accuracy levels of the datasets' classes.

연구 동기 및 목표

• 제한된 실제 샘플을 가진 의료 영상 데이터셋에서의 클래스 불균형 문제를 해결하기 위해.
• 클래스 특유의 영상 특징을 유지하는 데이터 증강 전략을 개발하기 위해.
• 낮은 데이터 환경에서 소수 클래스의 세분화 모델 성능을 향상시키기 위해.
• 세분화에 유용한 특징을 유도하기 위해 생성자 훈련에 수동 세분화 모듈을 통합하기 위해.
• 실제 의료 영상 벤치마크인 BraTS와 ISIC에서 방법을 검증하기 위해.

제안 방법

• Red-GAN는 픽셀 수준(세분화 마스크)과 전반적 수준(예: 병변 유형 또는 촬영 프로토콜)의 이중 조건부 생성 적대적 네트워크 프레임워크를 사용한다.
• 생성자는 세분화 마스크와 전반적 속성을 동시에 조건으로 하여 특정 클래스의 외관을 유지하는 이미지를 생성한다.
• 세분화에 유용한 특징을 유도하기 위해, 생성자 훈련에 수동 세분화 모듈을 제2의 플레이어로 도입한다.
• 생성자와 판별자는 적대적 방식으로 훈련되며, 세분화 모듈은 파rameter를 갱신하지 않고 피드백을 제공한다.
• 합성 이미지를 훈련 세트에 주입하여 클래스 분포를 재균형화하고 모델 일반화 능력을 향상시킨다.
• 이 방법은 BraTS(뇌종양 세분화)와 ISIC(피부 병변 분류) 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 이중 조건부 생성 적대적 네트워크는 클래스 불균형 상황에서 의료 영상 세분화의 데이터 효율성을 향상시키는가?
• RQ2 수동 세분화 모듈을 통합할 경우, 세분화 작업에 유용한 특징을 갖는 생성 이미지의 품질과 관련성은 어떻게 변화하는가?
• RQ3 합성 데이터 주입이 의료 영상에서 소수 클래스의 성능 저하를 어느 정도 완화할 수 있는가?
• RQ4 전반적 수준의 조건부 처리(예: 병변 유형)는 생성된 샘플에서 클래스 특유의 영상 특징을 유지하는가?
• RQ5 제안된 방법은 신경영상 및 피부과 영상 등 다양한 의료 영상 도메인에 일반화 가능한가?

주요 결과

• Red-GAN는 목표 분포와 일치하는 현실적인, 클래스 특유의 이미지를 생성함으로써 클래스 불균형을 효과적으로 감소시켰다.
• 수동 세분화 모듈의 통합은 세분화 작업에 유용한 생성된 특징의 관련성을 향상시켰다.
• 합성 이미지 주입은 특히 부족한 클래스에서 세분화 정확도 향상에 명확한 개선 효과를 보였다.
• BraTS와 ISIC 데이터셋 양쪽에서 일관된 성능 향상이 달성되어, 다중 도메인 적용 가능성을 입증했다.
• 이중 조건부 처리를 통한 통제된 생성은 영상 정밀도나 진단 관련성을 훼손하지 않으면서도 타겟된 증강을 가능하게 했다.
• 소수 클래스의 세분화 F1 점수 측면에서 기존의 데이터 증강 전략에 비해 본 방법이 뛰어난 성능을 보였다.