[논문 리뷰] Improved Training with Curriculum GANs

Rishi Sharma, Shane Barratt외 2명|arXiv (Cornell University)|2018. 07. 24.

Handwritten Text Recognition Techniques참고 문헌 21인용 수 10

한 줄 요약

이 논문은 GAN 학습 중 디스criminator의 능력을 점진적으로 증가시켜 학습 안정성과 샘플 품질을 향상시키는 훈련 전략인 Curriculum GANs를 소개한다. Karras 등(2017)의 복잡한 점진적 성장 기법에서 이 커리큘럼을 분리함으로써 저자들은 모델 복잡도를 크게 줄이고도 최신 기술 수준의 이미지 생성 성능를 달성하였다. 이는 다양한 데이터 모odal리티에서 고품질 GAN 학습의 핵심 요소로 커리큘럼 학습이 작용한다는 것을 보여준다.

ABSTRACT

In this paper we introduce Curriculum GANs, a curriculum learning strategy for training Generative Adversarial Networks that increases the strength of the discriminator over the course of training, thereby making the learning task progressively more difficult for the generator. We demonstrate that this strategy is key to obtaining state-of-the-art results in image generation. We also show evidence that this strategy may be broadly applicable to improving GAN training in other data modalities.

연구 동기 및 목표

• 최신 기술 수준의 이미지 생성에서 성능을 내는 데 핵심이 되는 훈련 전략을 분리하고 검증하기 위해.
• 고품질 샘플 생성의 원동력은 복잡한 아키텍처 변화가 아니라 디스criminator의 점진적 능력 증가라는 것을 입증하기 위해.
• 커리큘럼 학습을 이미지 데이터를 넘어서 다양한 데이터 모달리티에 적용 가능한 일반화 가능한 독립된 훈련 방법으로 정의하기 위해.
• 도메인 특화 '기교'에 대한 의존도를 줄이기 위해 통합적이고 원리적인 훈련 체제를 규명하기 위해.
• 커리큘럼 학습이 다양한 데이터 모달리티에서 GAN의 안정성과 성능 향상에 기여한다는 경험적 증거를 제공하기 위해.

제안 방법

• 이 방법은 훈련 에포크 동안 디스criminator의 능력을 점진적으로 증가시키는 커리큘럼 전략을 도입한다. 처음에는 간단한 아키텍처에서 시작한다.
• 훈련은 약한 디스criminator로 시작하여 생성기(G)가 과도하게 압도당하지 않도록 초기에 거시적 수준의 특징을 학습할 수 있도록 한다.
• 훈련이 진행됨에 따라 디스criminator는 점차 더 복잡한 아키텍처로 업그레이드되어 생성기에게 도전도를 높인다.
• 생성기는 변화하는 디스criminator와 함께 종단 간(end-to-end)으로 훈련되어, 점차 증가하는 식별 난이도에 적응하도록 한다.
• 이 접근법은 Karras 등(2017)에서 사용된 네트워크 깊이와 폭의 점진적 성장 기법과 커리큘럼을 분리하여 훈련 설정을 단순화한다.
• 커리큘럼은 점차 복잡한 데이터 분포 또는 특징 계층을 디스criminator가 학습하도록 구현하여 자연스러운 학습 난이도의 진행을 모방한다.

실험 결과

연구 질문

• RQ1 Karras 등(2017)이 달성한 최신 기술 수준의 이미지 품질을 이룬 데 핵심이 되는 특정 훈련 전략은 무엇인가?
• RQ2 GAN 훈련에서의 성능 향상은 아키텍처 복잡성 때문이 아니라 커리큘럼 학습 메커니즘 때문인가?
• RQ3 점차적으로 디스criminator의 능력을 증가시키는 것이 이미지 생성에서 GAN 훈련의 안정성과 샘플 품질 향상에 기여하는가?
• RQ4 이러한 커리큘럼 기반 접근법은 이미지 외의 다른 데이터 모달리티로 일반화될 수 있는가?
• RQ5 최근 자연어 생성에서의 GAN 성공은 암묵적인 커리큘럼 학습의 사용 때문인가?

주요 결과

• 저자들은 디스criminator의 능력을 시간이 지남에 따라 증가시키는 커리큘럼 전략을 적용함으로써 단순화된 GAN 설정으로 최신 기술 수준의 이미지 생성 품질을 달성하였다.
• 제안된 Curriculum GANs 방법은 생성기 및 디스criminator의 계층적 점진적 성장을 요구하지 않음에도 불구하고 Karras 등(2017)의 샘플 품질을 재현하였다.
• Curriculum GANs를 사용한 훈련 과정은 동일한 훈련 단계에서 원본 점진적 성장 방법과 유사한 수렴 패턴과 시각적 품질을 보였다. 이는 시각적 비교로 확인되었다.
• 이 방법은 고품질 이미지 합성의 핵심이 아키텍처의 복잡성보다는 디스criminator 난이도의 전략적 진전이라는 것을 입증하였다.
• 초기 결과는 커리큘럼 학습이 자연어 생성 및 텍스트-이미지 합성과 같은 다른 GAN 응용 분야에도 널리 적용 가능할 수 있음을 시사한다.
• 본 연구는 커리큘럼 학습이 다양한 데이터 모달리티에서 GAN 훈련의 안정성과 성능 향상에 기여하는 일반화 가능하고 원리적인 방법이라는 경험적 근거를 제공한다.