[논문 리뷰] Label-Noise Robust Generative Adversarial Networks

Takuhiro Kaneko, Yoshitaka Ushiku외 1명|arXiv (Cornell University)|2018. 11. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 89인용 수 7

한 줄 요약

이 논문은 레이블 노이즈에 강건한 GANs(rGANs)를 제안한다. 이는 훈련 레이블이 손상되어도 깨끗한 레이블 조건부 생성 분포를 학습할 수 있는 조건부 GAN의 새로운 가족이다. cGAN 및 AC-GAN 프레임워크에 노이즈 전이 모델을 통합함으로써(rcGAN 및 rAC-GAN 변형을 통해) 실제 레이블 노이즈 상황에서도 분리된, 고해상도의 생성 성능을 달성하며, 합성 및 실제 레이블 노이즈 환경에서 표준 GAN보다 뛰어난 성능을 보인다. 이는 Clothing1M에서 38.46%의 레이블 오류가 존재하는 상황에서도 성립한다.

ABSTRACT

Generative adversarial networks (GANs) are a framework that learns a generative distribution through adversarial training. Recently, their class-conditional extensions (e.g., conditional GAN (cGAN) and auxiliary classifier GAN (AC-GAN)) have attracted much attention owing to their ability to learn the disentangled representations and to improve the training stability. However, their training requires the availability of large-scale accurate class-labeled data, which are often laborious or impractical to collect in a real-world scenario. To remedy this, we propose a novel family of GANs called label-noise robust GANs (rGANs), which, by incorporating a noise transition model, can learn a clean label conditional generative distribution even when training labels are noisy. In particular, we propose two variants: rAC-GAN, which is a bridging model between AC-GAN and the label-noise robust classification model, and rcGAN, which is an extension of cGAN and solves this problem with no reliance on any classifier. In addition to providing the theoretical background, we demonstrate the effectiveness of our models through extensive experiments using diverse GAN configurations, various noise settings, and multiple evaluation metrics (in which we tested 402 conditions in total). Our code is available at https://github.com/takuhirok/rGAN/.

연구 동기 및 목표

• 웹 크롤링이나 컬러스오싱을 통한 실세계 데이터 수집에서 흔한 문제이지만 조건부 GAN의 성능을 크게 떨어뜨리는, 노이즈가 있는 레이블로 훈련했을 때의 심각한 성능 저하 문제를 해결하기 위해.
• 노이즈가 있는 훈련 레이블이 존재하더라도 진정한 깨끗한 레이블 조건부 분포를 학습함으로써 강건한 조건부 이미지 생성을 가능하게 하기 위해.
• 정확한 레이블이 확보되지 않는 상황에서, 레이블 노이즈에 강건한 분류와 조건부 생성 모델링 간 격차를 메우기 위해.
• 기존 GAN에서 다뤄지지 않았던, 노이즈 레이블의 기억화 현상이 조건부 생성 모델에 미치는 영향을 탐구하기 위해.
• 극도의 레이블 노이즈(예: 90% 손상) 상황에서도 효과적인 훈련 안정화 기법을 개발하여 실용적 적용을 가능하게 하기 위해.

제안 방법

• AC-GAN에 레이블 노이즈에 강건한 분류기를 통합한 rAC-GAN을 제안하며, 레이블 분포 이탈을 수정하기 위해 학습된 노이즈 전이 행렬을 사용한다.
• 외부 분류기를 필요로 하지 않는 cGAN의 확장인 rcGAN을 도입하며, 생성자, 판별자, 노이즈 전이 모델을 함께 학습한다.
• 깨끗한 레이블 $y^{g}$ 가 주어진 노이즈 레이블 $y^{n}$ 에 대해 발생할 확률을 추정하는 노이즈 전이 모델 $T(y^{g}|y^{n})$ 을 통합하여 훈련 중에 보정이 가능하도록 한다.
• 노이즈 레이블 분포를 통해 역전파를 수행할 수 있도록 재구성 기법을 적용함으로써 생성자 및 판별자의 엔드 투 엔드 훈련을 가능하게 한다.
• 안정성을 높이기 위해 판별자에 스펙트럴 정규화와 글로벌 풀링을 적용하고, 생성자에 조건부 배치 정규화를 사용하여 클래스 조건부 생성을 강제한다.
• 이중 단계 훈련 전략을 적용한다: 먼저 노이즈 레이블에서 노이즈 전이 모델을 사전 훈련하고, 이후 알려진 또는 추정된 전이 행렬을 사용하여 rGAN을 함께 훈련한다.

실험 결과

연구 질문

• RQ1 표준 cGAN가 실패하는 상황에서, 조건부 GAN은 노이즈가 있는 레이블로부터 분리된 고해상도의 이미지 생성을 학습할 수 있는가?
• RQ2 노이즈 전이 모델을 조건부 GAN에 통합함으로써 레이블 손상 문제를 얼마나 효과적으로 수정할 수 있는가?
• RQ3 제안된 rGAN 프레임워크는 기존 GAN에서 관찰된 노이즈 레이블의 기억화 현상을 완화하는가?
• RQ4 레이블 노이즈 수준이 다양할 경우, 특히 90%의 레이블 손상과 같은 극단적인 경우에서 rGAN의 성능는 어떻게 변화하는가?
• RQ5 rGAN은 레이블 정확도가 61.54%에 불과한 실세계 데이터셋인 Clothing1M에도 일반화 가능한가?

주요 결과

• rcGAN은 50%의 레이블 노이즈가 존재하는 CIFAR-100에서 FID 15.2를 기록하며, 표준 cGAN(FID: 42.1)보다 뚜렷이 뛰어난 성능을 보이며 고노이즈에 대한 강건성을 입증한다.
• 38.46%의 레이블 오류가 존재하는 Clothing1M에서 rAC-GAN은 깨끗한 테스트 세트에서 GAN-훈련 정확도 71.1%를 달성하여 노이즈가 있는 지도 하에 효과적인 일반화를 보였다.
• 제안된 노이즈 전이 모델 덕분에, 조건부 GAN이 50%의 무작위로 뒤집힌 레이블로 훈련된 경우에도 진정한 깨끗한 레이블 분포에 더 가까운 이미지를 생성할 수 있었다.
• 노이즈 전이 행렬이 알려져 있지 않은 상황에서도, 훈련 중에 함께 추정함으로써 경쟁적인 성능을 달성하였으며, 402개의 실험 조건 전반에서 효과를 보였다.
• 스펙트럴 정규화와 드롭아웃을 활용한 안정화 기법은 극도의 노이즈(예: 90% 손상) 상황에서도 훈련 안정성을 향상시켜, 기존 GAN이 실패하는 상황에서도 수렴 가능하게 하였다.
• 제거 실험 결과 노이즈 전이 모델이 핵심 요소임을 확인하였다: 이를 제거하면 표준 cGAN과 유사한 성능 저하가 발생하여 그 핵심적 역할을 입증하였다.