[논문 리뷰] Selective Synthetic Augmentation with Quality Assurance

Yuan Xue, Jiarong Ye외 4명|arXiv (Cornell University)|2019. 12. 09.

AI in cancer detection참고 문헌 34인용 수 4

한 줄 요약

이 논문은 의료 및 자연 이미지 분류 성능을 햖스키기 위해, 훈련 데이터에 추가하기 전에 고품질, 신뢰도 검증된 조건부 GAN(cGAN)으로 생성된 이미지를 필터링하는 선택적 합성 증강 프레임워크를 제안한다. 몬테카를로 드롭아웃을 활용한 레이블 신뢰도 추정과 실제 데이터 중심점의 특징 공간 거리 측정을 결합함으로써, 오직 고품질의 합성 샘플만이 사용되도록 보장하며, 조직병리학, CIFAR10, SVHN 데이터셋에서 각각 6.8%, 3.9%, 1.6%의 정확도 향상을 달성한다.

ABSTRACT

Supervised training of an automated medical image analysis system often requires a large amount of expert annotations that are hard to collect. Moreover, the proportions of data available across different classes may be highly imbalanced for rare diseases. To mitigate these issues, we investigate a novel data augmentation pipeline that selectively adds new synthetic images generated by conditional Adversarial Networks (cGANs), rather than extending directly the training set with synthetic images. The selection mechanisms that we introduce to the synthetic augmentation pipeline are motivated by the observation that, although cGAN-generated images can be visually appealing, they are not guaranteed to contain essential features for classification performance improvement. By selecting synthetic images based on the confidence of their assigned labels and their feature similarity to real labeled images, our framework provides quality assurance to synthetic augmentation by ensuring that adding the selected synthetic images to the training set will improve performance. We evaluate our model on a medical histopathology dataset, and two natural image classification benchmarks, CIFAR10 and SVHN. Results on these datasets show significant and consistent improvements in classification performance (with 6.8%, 3.9%, 1.6% higher accuracy, respectively) by leveraging cGAN generated images with selective augmentation.

연구 동기 및 목표

• 작은, 불균형한 의료 영상 데이터셋에서 고품질의 합성 데이터가 필요로 하는 강력한 모델 훈련을 위한 과제를 해결하기 위해.
• 시각적으로 유사하지만 저품질인 합성 이미지를 훈련 세트에 막연히 추가할 경우 성능 저하의 위험을 완화하기 위해.
• 오직 고신뢰도, 대표성 있는 합성 샘플만을 선택적으로 포함하는 품질 보장 합성 증강 파이프라인 개발을 위해.
• 이 방법의 효과성과 일반화 능력을 의료 및 자연 이미지 분류 작업 전반에 걸쳐 검증하기 위해.

제안 방법

• 고해상도의 합성 조직병리학 패치를 생성하기 위해 조건부 GAN(cGAN)을 훈련시키며, 모델 선택은 부드러운 프리에트 인셉션 거리(Fréchet Inception Distance, FID) 점수 기반으로 수행된다.
• 실제 훈련 데이터로부터 특징 공간 내 클래스별 중심점을 추출하기 위해 사전 훈련된 ResNet34에 몬테카를로 드롭아웃을 적용한다.
• 다중 전방향 프로퍼게이션(몬테카를로 샘플링)을 통한 예측 엔트로피 기반으로 합성 이미지를 필터링하며, 낮은 엔트로피(높은 레이블 신뢰도)를 가진 샘플만 유지한다.
• 특징 공간 내 실제 데이터 클래스 중심점까지의 L2 거리 기반으로 추가 필터링을 수행하며, 진짜 클래스 분포에 가장 가까운 샘플만 유지한다.
• 최종 합성 샘플 선택은 증강 비율 $ r $ 에 의해 결정되며, 이는 품질 중심의 훈련 세트 확장을 제어 가능하게 한다.
• 프레임워크는 자궁경부 조직병리학 데이터셋과 표준 벤치마크(CIFAR10, SVHN)에서 평가되며, 공정한 비교를 위해 백본 분류기로 ResNet34를 사용한다.

실험 결과

연구 질문

• RQ1 cGAN로 생성된 이미지를 활용한 선택적 합성 증강이, 작은, 불균형한 의료 영상 데이터셋에서의 분류 성능 향상에 기여할 수 있는가?
• RQ2 레이블 신뢰도와 실제 데이터 중심점과의 특징 유사성 기반으로 합성 이미지를 필터링할 경우, 단순 증강보다 더 나은 모델 일반화 성능을 달성할 수 있는가?
• RQ3 기존의 데이터 증강 기법과 비선택적 합성 증강 대비 정확도 및 내구성 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ4 노이즈나 오해의 소지가 있는 샘플을 도입하지 않으면서 성능 향상을 극대화하기 위한 최적의 증강 비율 $ r $ 는 얼마인가?
• RQ5 제안된 선택적 증강 파이프라인은 의료 및 자연 이미지 등 다양한 이미지 도메인에 일반화 가능한가?

주요 결과

• 자궁경부 조직병리학 데이터셋에서, 제안된 방법은 증강 없이도 기준 모델 대비 6.8%의 절대 정확도 향상을 달성했다.
• 훈련 데이터의 10%만을 사용한 CIFAR10에서, 선택적 증강 방법은 기준 모델 대비 3.9%포인트의 정확도 향상을 보였다.
• SVHN에서 비선택적 GAN 증강보다 1.6% 높은 성능을 기록하며, 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• 비선택적 GAN 증강을 사용한 모델는 기준 모델보다 성능이 열 劣하므로, 합성 데이터를 무분별하게 사용할 경우 성능 저하가 발생할 수 있음을 확인했다.
• 절단 실험 결과, 증강 비율 $ r $ 가 0.5를 초과할 경우 성능 저하가 발생함을 확인하여, 선택적 필터링의 중요성을 입증했다.
• 불확실성 추정을 위한 몬테카를로 드롭아웃과 분포 일치를 위한 특징 공간 거리 측정이 합성 데이터 통합의 품질 보장에 핵심적인 역할을 한다는 것이 입증되었다.