[논문 리뷰] Variance Regularizing Adversarial Learning

Karan Grewal, R Devon Hjelm외 1명|arXiv (Cornell University)|2017. 07. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 5

한 줄 요약

이 논문은 변동성 정규화 적대적 학습을 제안하며, 이는 진짜/가짜 레이블에 대한 이중 정규 분포를 사용해 기존의 판별자 스코어를 대체하고, 메타적대적 학습을 통해 이 목표 분포를 암묵적으로 일치시킨다. 이 방법은 완벽한 판별자일 경우에도 생성자로의 비제로 기울기를 보장하여 기준 데이터셋에서 진짜 및 가짜 모드가 겹치는 부드러운 분류기 출력을 얻는다.

ABSTRACT

We introduce a novel approach for training adversarial models by replacing the discriminator score with a bi-modal Gaussian distribution over the real/fake indicator variables. In order to do this, we train the Gaussian classifier to match the target bi-modal distribution implicitly through meta-adversarial training. We hypothesize that this approach ensures a non-zero gradient to the generator, even in the limit of a perfect classifier. We test our method against standard benchmark image datasets as well as show the classifier output distribution is smooth and has overlap between the real and fake modes.

연구 동기 및 목표

• 판별자가 너무 정확해질 경우 GAN에서 기울기 소멸 문제를 해결하기 위해.
• 완벽한 판별자에서도 생성자로의 비제로 기울기를 보장함으로써 학습 안정성을 향상시키기 위해.
• 판별자 출력을 이중 정규 분포로 모델링하여 더 부드러운 결정 경계를 가능하게 하기 위해.
• 메타적대적 학습을 통해 목표 이중 정규 분포를 암묵적으로 일치시키기 위해.
• 분류기 출력 분포가 진짜 및 가짜 모드 간에 의미 있는 겹침을 가짐을 경험적으로 검증하기 위해.

제안 방법

• 표준 판별자 스코어를 진짜/가짜 지시 변수에 대한 이중 정규 분포로 대체하기.
• 메타적대적 학습을 사용해 목표 이중 정규 분포를 암묵적으로 일치시키기 위해 가우시안 분류기를 훈련하기.
• 메타 최적화를 사용해 생성자를 업데이트하여 판별자의 출력 분포가 원하는 이중 정규 형태와 일치하도록 하기.
• 판별자가 최적일 때도 기울기 흐름을 유지하는 변동성 정규화 메커니즘 도입하기.
• 진짜 및 가짜 모드 간에 부드럽고 겹치는 분포를 장려하는 훈련 목표 설정하기.
• 성능 및 분포적 성질 평가를 위해 표준 이미지 생성 벤치마크에 이 방법 적용하기.

실험 결과

연구 질문

• RQ1 진짜/가짜 레이블에 대한 이중 정규 분포가 생성자로의 기울기 흐름을 유지함으로써 GAN 학습을 안정화시킬 수 있는가?
• RQ2 제안된 방법이 진짜 및 가짜 샘플 간 판별자 출력 분포의 겹침과 부드러움에 어떤 영향을 미치는가?
• RQ3 메타적대적 학습이 가우시안 분류기를 목표 이중 정규 분포와 효과적으로 일치시키는가?
• RQ4 변동성 정규화가 GAN의 학습 안정성과 모드 커버리지에 어떤 영향을 미치는가?
• RQ5 표준 GAN과 비교했을 때 이 방법은 샘플 품질과 분포 일관성 측면에서 어떤가?

주요 결과

• 제안된 방법은 판별자가 완벽하더라도 생성자로의 비제로 기울기를 보장하여 기울기 소멸 문제를 해결한다.
• 판별자 출력 분포는 부드러워지고 진짜 및 가짜 모드 간에 상당한 겹침을 보인다.
• 메타적대적 학습은 가우시안 분류기를 목표 이중 정규 분포와 효과적으로 일치시킨다.
• 이 방법은 개선된 분포 일관성과 함께 표준 이미지 벤치마크에서 안정적인 학습을 달성한다.
• 분류기 출력은 잘 구조화되고 부패하지 않은 분포를 보이며, 강력한 결정 경계를 나타낸다.