[논문 리뷰] Metric Learning-based Generative Adversarial Network

Zi-Yi Dou|arXiv (Cornell University)|2017. 11. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 6

한 줄 요약

이 논문은 거리 메트릭을 동적으로 학습하여 실재 샘플과 생성 샘플 간의 유사도를 측정하는 메트릭 학습 기반 생성 적대적 네트워크(MLGAN)라는 새로운 GAN 프레임워크를 제안한다. 생성자는 학습된 메트릭을 최소화하도록 업데이트되며, 이로 인해 기존 최신 기술(SOTA) GAN보다 뛰어난 이미지 품질과 향상된 학습 안정성을 확보한다. 동일한 아키텍처를 사용하여 CIFAR-10에서 최대 6.279, SVHN에서 3.296의 Inception 스코어를 기록하였다.

ABSTRACT

Generative Adversarial Networks (GANs), as a framework for estimating generative models via an adversarial process, have attracted huge attention and have proven to be powerful in a variety of tasks. However, training GANs is well known for being delicate and unstable, partially caused by its sig- moid cross entropy loss function for the discriminator. To overcome such a problem, many researchers directed their attention on various ways to measure how close the model distribution and real distribution are and have applied dif- ferent metrics as their objective functions. In this paper, we propose a novel framework to train GANs based on distance metric learning and we call it Metric Learning-based Gener- ative Adversarial Network (MLGAN). The discriminator of MLGANs can dynamically learn an appropriate metric, rather than a static one, to measure the distance between generated samples and real samples. Afterwards, MLGANs update the generator under the newly learned metric. We evaluate our ap- proach on several representative datasets and the experimen- tal results demonstrate that MLGANs can achieve superior performance compared with several existing state-of-the-art approaches. We also empirically show that MLGANs could increase the stability of training GANs.

연구 동기 및 목표

• 표준 GAN에서 내재된 불안정성과 학습 곤란 문제, 특히 기울기 소실과 낮은 판별기 최적화 문제를 해결하기 위해.
• 정적 손실 함수 대신 동적으로 학습된 거리 메트릭으로 교체함으로써 생성자 학습을 위한 목적 함수를 향상시키기 위해.
• 고정된 손실 함수에 의존하지 않고 작업에 특화된 메트릭을 학습함으로써 판별기의 역할을 통해 GAN 학습의 안정성을 향상시키기 위해.
• 메트릭 학습이 생성 모델링에서의 적대적 훈련을 위한 더 견고하고 효과적인 목적함수로 기능할 수 있음을 입증하기 위해.
• 판별기의 역할을 분류에서 메트릭 학습으로 재정의함으로써 GAN 학습에 대한 새로운 관점을 제공하기 위해.

제안 방법

• MLGAN의 판별기는 이진 분류를 수행하는 대신, 실재 샘플과 생성 샘플 간의 거리 메트릭을 학습하도록 한다.
• 메트릭은 거리 메트릭 학습 기법을 통해 학습되며, 이로 인해 판별기는 잠재 공간 내에서의 유사도를 적응적으로 측정할 수 있다.
• 생성자는 판별기가 학습한 메트릭 하에 실재 샘플과 생성 샘플 간의 거리를 최소화하도록 업데이트된다.
• 프레임워크는 기울기 보정이 있는 WGAN와 동일한 모델 아키텍처를 사용하며, 메트릭 학습을 통합하기 위해 손실 함수에 수정을 가한다.
• 판별기의 메트릭 학습 과정을 제약하기 위해 두 가지 정규화 기법—가중치 클리핑과 중심 보상—을 적용한다.
• Inception 스코어를 사용하여 SVHN과 CIFAR-10에서 평가하며, 다양한 학습 제어 조건에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 동적으로 학습된 거리 메트릭이 GAN 학습의 안정성과 성능을 향상시킬 수 있는가?
• RQ2 기존 GAN 손실을 학습된 메트릭으로 대체할 경우 더 나은 샘플 품질과 모드 붕괴 감소가 이루어지는가?
• RQ3 Inception 스코어와 학습 역학 측면에서, WGAN와 LSGAN과 같은 최신 기술 GAN과 비교해 MLGAN는 어떻게 성능을 내는가?
• RQ4 성능을 저하시키지 않으면서도 GAN의 판별기 역할을 분류에서 메트릭 학습으로 재정의할 수 있는가?
• RQ5 다양한 정규화 전략(예: 가중치 클리핑 대비 중심 보상)이 메트릭 학습 과정과 최종 생성 품질에 미치는 영향은 무엇인가?

주요 결과

• SVHN에서 MLGAN는 Inception 스코어 3.296 ± 0.17을 기록하여 기울기 보정이 있는 WGAN(3.129 ± 0.20)과 다른 기준 모델들을 능가했다.
• CIFAR-10에서 중심 보상 정규화를 사용한 MLGAN는 Inception 스코어 6.279 ± 0.33을 기록하여 기울기 보정이 있는 WGAN(6.069 ± 0.33)을 초월했다.
• 기본 버전인 MLGAN조차도 DCGAN가 SVHN과 CIFAR-10에서 모두 실패한 것과는 달리, 학습 중에 모드 붕괴를 피했다.
• 중심 보상 정규화를 사용한 결과, 모든 모델에서 두 데이터셋에서 가장 높은 Inception 스코어를 기록하여 메트릭 일반화 향상이 확인되었다.
• 생성자가 학습된 메트릭 덕분에 더 일관되고 의미 있는 기울기를 받기 때문에, MLGAN는 학습 안정성이 향상되었다.
• 결과적으로, 판별기를 최적화 상태로 유지하는 것이 가능하고 유익하다는 점이 입증되었으며, 이는 기존 GAN에서의 핵심 불안정성 문제를 해결한다.