[논문 리뷰] Exploring Bias in GAN-based Data Augmentation for Small Samples

Mengxiao Hu, Jinlong Li|arXiv (Cornell University)|2019. 05. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 14

한 줄 요약

이 논문은 소규모 머신러닝 데이터셋에 대한 GAN 기반 데이터 증강에서의 편향을 조사하며, 특정 데이터셋이 GAN 기반 증강에 적합한지 평가할 수 있는 파이프라인을 제안한다. 연구 결과, 더 오래 훈련한다고 해서 항상 편향이 감소하는 것은 아니며, 더 큰 증강 데이터셋일수록 편향이 증가할 수 있음을 발견했고, 반복적 샘플링과 GAN 변종 선택을 통해 편향을 완화할 수 있음을 제안한다.

ABSTRACT

For machine learning task, lacking sufficient samples mean the trained model has low confidence to approach the ground truth function. Until recently, after the generative adversarial networks (GAN) had been proposed, we see the hope of small samples data augmentation (DA) with realistic fake data, and many works validated the viability of GAN-based DA. Although most of the works pointed out higher accuracy can be achieved using GAN-based DA, some researchers stressed that the fake data generated from GAN has inherent bias, and in this paper, we explored when the bias is so low that it cannot hurt the performance, we set experiments to depict the bias in different GAN-based DA setting, and from the results, we design a pipeline to inspect specific dataset is efficiently-augmentable with GAN-based DA or not. And finally, depending on our trial to reduce the bias, we proposed some advice to mitigate bias in GAN-based DA application.

연구 동기 및 목표

• 소규모 데이터셋에서 GAN으로 생성된 합성 데이터의 편향이 존재하고 영향을 미치는지 조사하는 것.
• 주어진 데이터셋이 GAN 기반 방법으로 효율적으로 증강 가능한지 판단할 수 있는 실용적인 파이프라인을 개발하는 것.
• 특히 희소성 또는 고차원 데이터에서 편향으로 인해 GAN 기반 데이터 증강이 실패하는 조건을 규명하는 것.
• GAN 기반 데이터 증강 워크플로우에서 편향을 줄이기 위한 실행 가능한 권고 사항을 제공하는 것.

제안 방법

• 증강된 데이터의 편향을 정량화하기 위해 프록시 작업에서의 분류 정확도를 사용한 편향 측정 방법을 제안하였다.
• 실제 데이터셋(예: SCADI, 아마존 리뷰, CIFAR-100)과 시뮬레이션 데이터셋을 대상으로 훈련 반복 횟수와 샘플 크기 변화에 따른 편향 추적 실험을 수행하였다.
• 일회성 샘플링 및 혼합 샘플링 전략을 사용하여 다양한 훈련 에포크 동안의 편향 추세를 추정하였다.
• 샘플 수 대 특징 수 비율(RSF)과 유의미한 특징 수 대 총 특징 수 비율(RIF)을 기반으로 데이터셋 증강 가능성 평가를 위한 파이프라인(그림 13)을 설계하였다.
• 다양한 GAN 변종(예: 소프트맥스 GAN, 조건부 GAN, 경계 탐색 GAN)을 탐색하여 각 데이터셋에서의 편향 전파 특성을 평가하였다.
• 편향이 증가하는 경우 재측정하는 동적 정지 기준을 적용한 반복적 샘플링을 통해 최적의 훈련 에포크를 동적으로 선택하는 방법을 적용하였다.

실험 결과

연구 질문

• RQ1 GAN 생성 데이터의 편향은 훈련 과정에서 어떻게 변화하는가? 더 오래 훈련하면 항상 편향이 감소하는가?
• RQ2 생성기의 수렴이 이루어진 것처럼 보일 때조차도 증강 데이터셋 크기를 늘릴수록 편향이 비례적으로 증가하는가?
• RQ3 샘플 수 대 특징 수 비율과 유의미한 특징 수 등의 데이터셋 특성이 증강된 데이터의 편향에 어떤 영향을 미치는가?
• RQ4 특정 GAN 변종(예: 조건부 GAN)이 다른 변종보다 일부 데이터셋에서 편향 전파를 줄일 수 있는가?
• RQ5 합성 샘플에 내재된 편향으로 인해 언제 GAN 기반 데이터 증강이 효과가 없어지는가?

주요 결과

• GAN 생성기의 더 긴 훈련이 편향 감소를 보장하지는 않으며, 일부 경우에서 수렴 후에도 편향이 안정되거나 증가할 수 있다.
• 더 큰 증강 데이터셋은 더 작은 데이터셋보다 더 높은 편향을 보일 수 있으며, 특히 생성기의 분포가 비대칭일 경우(예: 그림 3c)에 두드러진다.
• 유의미한 특징 수 대 총 특징 수 비율이 높은 데이터셋은 샘플 수 대 특징 수 비율이 유사하더라도 증강된 데이터에서 낮은 편향을 보인다.
• 일부 GAN 변종(예: 조건부 GAN)은 특정 데이터셋(예: SCADI)에서는 편향을 전파하지 않지만, 다른 변종은 전파하는 것으로 나타나 변종에 따라 행동이 다름을 확인하였다.
• RSF와 RIF 비율을 사용한 제안된 파이프라인은 특정 데이터셋이 GAN 기반 증강에 적합한지 예측하는 데 도움이 된다.
• 편향 모니터링을 통한 반복적 샘플링은 최적의 훈련 에포크를 동적으로 선택할 수 있게 하여 일회성 샘플링에서의 편향을 줄이는 데 기여한다.