[논문 리뷰] TripletGAN: Training Generative Model with Triplet Loss

Gongze Cao, Yezhou Yang외 4명|arXiv (Cornell University)|2017. 11. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 9

한 줄 요약

이 논문은 기존 분류 손실 대신 삼중체 손실을 사용하는 TripletGAN이라는 새로운 GAN 학습 방법을 제안한다. 이 방법은 적분 확률 미터릭(IPM) 분석을 통해 진정한 데이터 분포로의 이론적 수렴과 더불어 더 나은 모드 커버리지 성능을 달성한다. 동일한 클래스 내에서의 샘플 간 거리를 최대화함으로써 생성자는 모드 붕괴를 효과적으로 완화하면서도, CIFAR-10, STL-10 및 CelebA 벤치마크에서 높은 생성 품질을 유지를 한다.

ABSTRACT

As an effective way of metric learning, triplet loss has been widely used in many deep learning tasks, including face recognition and person-ReID, leading to many states of the arts. The main innovation of triplet loss is using feature map to replace softmax in the classification task. Inspired by this concept, we propose here a new adversarial modeling method by substituting the classification loss of discriminator with triplet loss. Theoretical proof based on IPM (Integral probability metric) demonstrates that such setting will help the generator converge to the given distribution theoretically under some conditions. Moreover, since triplet loss requires the generator to maximize distance within a class, we justify tripletGAN is also helpful to prevent mode collapse through both theory and experiment.

연구 동기 및 목표

• 생성적 적대적 네트워크(GAN)에서 발생하는 지속적인 모드 붕괴 문제를 해결하기 위해.
• 판별자의 분류 손실을 삼중체 손실으로 대체함으로써 학습 안정성과 생성자 다양성을 향상시키기 위해.
• 적분 확률 미터릭(IPM) 분석을 통해 생성자의 진정한 데이터 분포로의 수렴을 이론적으로 정당화하기 위해.
• 삼중체 손실이 포함된 GAN에서 생성된 샘플의 다양성과 모드 커버리지가 기존 GAN보다 뛰어나다는 것을 경험적으로 검증하기 위해, 특히 고정밀도 얼굴 생성 작업에서 성능 향상을 확인하기 위해.
• 명시적인 클래스 레이블 없이도 거리 학습 원리를 적대적 학습에 통합할 수 있는지 탐색하기 위해.

제안 방법

• 판별자 내 표준 교차 엔트로피 분류 손실을, 임베딩 공간 내에서 동일 클래스 간 거리를 최소화하고 이질 클래스 간 거리를 최대화하는 삼중체 손실로 대체한다.
• 생성자가 임베딩 공간 내에서 가짜 샘플 간의 거리를 최대화하도록 학습시켜 다양성을 증진하고 모드 붕괴를 줄인다.
• 실제 및 가짜 샘플을 낮은 차원의 공간으로 매핑하기 위해 임베딩 네트워크를 사용하며, 여기서 삼중체 손실을 계산한다.
• 이론적 분석 결과, 삼중체 손실 공식화는 IPM를 최소화하는 것과 대응되며, 약한 조건 하에서도 진정한 데이터 분포로의 수렴을 보장한다.
• 정확한 삼중체 손실의 이점을 평가하기 위해 배치 정규화 없이 표준 DCGAN 유사 아키텍처를 채택한다.
• 학습 중에 어려운 음성 샘플(하드 음성)을 선택하기 위해 하드 음성 마이닝 기법을 도입하여 비판자(Critic)의 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 판별자의 분류 손실을 삼중체 손실로 대체할 경우, GAN에서 더 나은 수렴과 더 나은 모드 커버리지가 달성될 수 있는가?
• RQ2 생성자 학습 목표에 삼중체 손실을 적용하면 모드 붕괴가 효과적으로 방지되는가?
• RQ3 IPM의 이론적 수렴 보장이 삼중체 손실을 통한 적대적 학습으로 확장될 수 있는가?
• RQ4 샘플 다양성과 Inception 점수 측면에서 TripletGAN은 기존 GAN 및 기타 최신 기법들과 비교해 어떤가?
• RQ5 명시적인 클래스 레이블 없이도 삼중체 손실이 조건부 GAN에서 효과적으로 사용될 수 있는가?

주요 결과

• CIFAR-10에서 TripletGAN은 Inception 점수 4.42 ± 0.22를 기록하여, 기존 GAN(1.85 ± 0.04)과 WGAN(2.33 ± 0.04)을 크게 앞서며 뛰어난 성능을 보였다.
• STL-10에서 TripletGAN은 Inception 점수 6.44 ± 0.31을 기록하여, EBGAN(5.73 ± 0.20)과 WGAN를 모두 앞섰다.
• CelebA에서 TripletGAN은 64개 샘플 중 21개의 남성 얼굴을 생성했으며, 기존 GAN은 단지 7개에 그쳤다. 이는 더 나은 인구 통계적 균형과 더 나은 모드 커버리지를 의미한다.
• 손실 곡선 분석 결과, TripletGAN은 하드 트리플릿으로 인해 지속적인 업데이트가 이루어져 비판자 손실이 π에 포화 상태에 도달하지 않아 학습 역학이 오랫동안 유지됨을 보였다.
• 배치 정규화 없이도 TripletGAN은 다양하고 고품질의 샘플을 생성했으며, 이는 방법의 아키텍처 선택에 대한 내재적 강건성을 입증한다.
• 이론적 분석 결과, 비판자에서의 삼중체 손실은 IPM를 최소화하는 것과 대응되며, 약한 조건 하에서도 생성자가 진정한 데이터 분포로 수렴함을 보장한다.