[논문 리뷰] Robustness of Conditional GANs to Noisy Labels

Kiran Koshy Thekumparampil, Ashish Khetan외 2명|arXiv (Cornell University)|2018. 11. 08.

Machine Learning and Data Classification참고 문헌 8인용 수 37

한 줄 요약

이 논문은 훈련 중 노이즈가 있는 레이블로 인해 샘플 품질과 레이블 충실도가 떨어지는 문제를 완화하는 두 가지 강건한 조건부 GAN 아키텍처인 RCGAN과 RCGAN-U를 제안한다. 알려진 또는 학습된 혼동 행렬을 통해 레이블 손상 모델링을 하고, 생성기의 피드백 루프에 노이즈 매칭 메커니즘을 적용함으로써, 생성기는 진정한 청소된 조건부 분포를 학습하게 되며, 이는 노이즈가 있는 레이블 하에서 MNIST와 CIFAR-10에서 표준 GAN보다 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of learning conditional generators from noisy labeled samples, where the labels are corrupted by random noise. A standard training of conditional GANs will not only produce samples with wrong labels, but also generate poor quality samples. We consider two scenarios, depending on whether the noise model is known or not. When the distribution of the noise is known, we introduce a novel architecture which we call Robust Conditional GAN (RCGAN). The main idea is to corrupt the label of the generated sample before feeding to the adversarial discriminator, forcing the generator to produce samples with clean labels. This approach of passing through a matching noisy channel is justified by corresponding multiplicative approximation bounds between the loss of the RCGAN and the distance between the clean real distribution and the generator distribution. This shows that the proposed approach is robust, when used with a carefully chosen discriminator architecture, known as projection discriminator. When the distribution of the noise is not known, we provide an extension of our architecture, which we call RCGAN-U, that learns the noise model simultaneously while training the generator. We show experimentally on MNIST and CIFAR-10 datasets that both the approaches consistently improve upon baseline approaches, and RCGAN-U closely matches the performance of RCGAN.

연구 동기 및 목표

• 임의로 손상된 레이블을 가진 데이터셋에서 조건부 GAN을 훈련하는 데 있어, 생성 결과의 편향과 낮은 샘플 품질을 초래하는 문제를 해결한다.
• 알려진 또는 알려지지 않은 노이즈 과정에 의해 레이블이 손상되어도 진정한 조건부 데이터 분포 $ P_{X|Y} $ 를 복구할 수 있는 방법을 개발한다.
• 특정 판별기 제약 조건 하에서 제안된 GAN 아키텍처의 강건성에 대한 이론적 보장을 제공한다.
• 정보가 적은 환경에서도 강건성을 확보하기 위해 노이즈 모델과 생성기를 동시에 학습하는 훈련 프레임워크를 설계한다.
• 다양한 노이즈 수준에서 기준 GAN에 비해 인ception 스코어, 레이블 정확도, 시각적 정밀도 측면에서 일관된 성능 향상을 입증한다.

제안 방법

• 알려진 노이즈 모델을 위한 RCGAN 제안: 생성된 레이블을 판별기 입력 이전에 손상시켜, 노이즈 매칭 메커니즘을 통해 생성기의 출력이 청소된 분포와 일치하도록 한다.
• 이론적 조건을 충족하는 투영 판별기 아키텍처를 도입하여, 알려진 노이즈 하에서 진정한 청소된 분포로의 수렴을 보장한다.
• RCGAN 손실을 최소화하는 미니맥스 목표로 설정하여, 생성기가 노이즈 손상 후 실재 노이즈 데이터 분포와 일치하는 샘플을 생성하도록 훈련한다.
• 노이즈 모델이 알려지지 않은 경우를 위해 RCGAN을 RCGAN-U로 확장하여, 훈련 중에 혼동 행렬 $ C $ 를 함께 학습한다.
• 복잡한 데이터셋인 CIFAR-10에서 혼동 행렬 학습을 안정화하기 위해 선형 분류기를 정규화 요소로 사용한다.
• RCGAN-U에서 혼동 행렬에 대각선 초기화를 적용하여 진짜 노이즈 행렬의 순열된 형태로의 수렴을 방지한다.

실험 결과

연구 질문

• RQ1 레이블 손상 과정을 명시적으로 모델링함으로써 조건부 GAN을 노이즈 있는 레이블에 대해 강건하게 만들 수 있는가?
• RQ2 판별기 클래스에 어떤 이론적 조건이 존재해야, RCGAN 손실 최소화가 진정한 청소된 데이터 분포를 회복할 수 있는가?
• RQ3 노이즈 모델이 알려지지 않은 경우 RCGAN-U의 성능이 RCGAN에 비해 어떻게 비교되는가?
• RQ4 제안된 방법이 다양한 레이블 노이즈 수준에서 MNIST와 CIFAR-10에서 샘플 품질과 레이블 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 투영 판별기와 노이즈 매칭 메커니즘의 사용이 레이블 손상 하에서 표준 GAN보다 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• RCGAN는 MNIST와 CIFAR-10에서 기준 GAN보다 유의미하게 높은 인ception 스코어를 기록하며, 0.0 노이즈(100% 청소된 레이블)에서 스코어가 0.995에 도달했고, 비편향 GAN의 0.994와 비교해 뛰어난 성능을 보였다.
• 노이즈가 있는 MNIST 데이터셋에서 RCGAN-U는 0.1 노이즈(90% 청소된 레이블)에서 레이블 정확도 0.995를 기록했으며, 같은 노이즈 수준에서 편향 GAN(0.873)과 비편향 GAN(0.998)을 모두 앞섰다.
• CIFAR-10에서는 0.0 노이즈 조건에서 RCGAN-U가 생성된 레이블 정확도 8.13%를 유지했으며, 비편향 GAN(8.13%)과 거의 동일했고, 편향 GAN은 7.6%로 떨어졌다.
• 80% 레이블 노이즈(1–α = 0.8) 상황에서 RCGAN-U는 CIFAR-10에서 인ception 스코어 8.03을 기록했으며, 비편향 GAN(4.0)과 편향 GAN(7.75)을 모두 앞섰다.
• RCGAN와 RCGAN-U의 시각적 샘플은 특히 높은 노이즈 수준에서 편향 GAN보다 훨씬 뛰어난 클래스 충실도와 이미지 품질을 보였다.
• RCGAN-U에서 혼동 행렬에 대각선 초기화를 적용한 방법은 CIFAR-10에서 진짜 노이즈 행렬의 순열된 형태로의 수렴을 성공적으로 방지했다.