[논문 리뷰] cGANs with Multi-Hinge Loss

Ilya Kavalerov, Wojciech Czaja외 1명|arXiv (Cornell University)|2019. 12. 09.

Advanced Image Processing Techniques참고 문헌 43인용 수 12

한 줄 요약

이 논문은 ImageNet-128에서 생성 품질과 다양성을 향상시키기 위해 조건부 GAN에 대한 다중 클래스 허지 손실(MHGAN)을 제안한다. 이는 다수의 분류 경계를 통해 생성자와 비평가가 클래스별 특징을 학습할 수 있도록 한다. 이 방법은 최소한의 계산 부담으로 준지도 학습 환경에서 최고 수준의 Inception Score(169.68)와 FID(8.87)를 달성하며, 파라미터 공유 시 이미지 품질과 다양성 사이의 조절 가능한 트레이드오프를 보여준다.

ABSTRACT

We propose a new algorithm to incorporate class conditional information into the critic of GANs via a multi-class generalization of the commonly used Hinge loss that is compatible with both supervised and semi-supervised settings. We study the compromise between training a state of the art generator and an accurate classifier simultaneously, and propose a way to use our algorithm to measure the degree to which a generator and critic are class conditional. We show the trade-off between a generator-critic pair respecting class conditioning inputs and generating the highest quality images. With our multi-hinge loss modification we are able to improve Inception Scores and Frechet Inception Distance on the Imagenet dataset. We make our tensorflow code available at https://github.com/ilyakava/gan.

연구 동기 및 목표

• 고품질, 다각적인 이미지를 동시에 생성하고 정확한 클래스 조건을 유지하는 조건부 GAN 훈련의 과제를 해결하기 위해.
• 단일 생성자-분류기 쌍을 초과 지도 및 준지도 학습 환경에서 효과적으로 훈련할 수 있도록 표준 허지 손실을 다중 클래스로 일반화한 손실을 개발하기 위해.
• 생성자 및 비평가 업데이트가 얼마나 클래스 조건에 의존하는지 측정하고 제어하여 이미지 정밀도와 다양성의 균형을 맞추기 위해.
• 보조 분류기와 함께 기존 GAN보다 ImageNet-128에서 훈련 안정성과 성능을 향상시키기 위해.

제안 방법

• 표준 허지 손실을 다수의 클래스로 일반화한 다중 클래스 허지 손실을 제안하여, 각 클래스별로 다수의 분류 경계를 학습할 수 있도록 한다.
• 보조 완전 연결 계층을 갖춘 프로젝션 비평가 아키텍처를 사용하여 분류 예측을 가능하게 하며, 생성자와 분류기의 공동 훈련을 가능하게 한다.
• 훈련 안정성 향상과 수렴 개선을 위해 프로젝션 비평가에 스펙트럴 정규화를 적용한다.
• 생성자 단계당 비평가 단계를 한 번만 수행하여, 다수의 D단계가 필요한 기존 방법보다 훈련 속도를 높인다.
• 프로젝션 비평가와 보조 분류기 간의 파라미터 공유를 통해 MHSharedGAN를 도입함으로써, 파라미터 효율성을 확보하지만 다양성은 감소한다.
• 두 단계 훈련 전략을 적용: 초기에는 표준 GAN 손실로 사전 훈련한 후, 다중 허지 손실로 전환하여 Inception Score와 FID를 신속히 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 허지 손실에 비해 다중 클래스 허지 손실이 조건부 GAN에서 이미지 품질과 다양성 향상에 기여하는가?
• RQ2 비평가와 분류기 간의 파라미터 공유가 이미지 품질과 다양성 사이의 트레이드오프에 미치는 영향은 무엇인가?
• RQ3 제안된 다중 허지 손실이 ImageNet-128에서 완전 지도 및 준지도 학습 환경에서 최고 수준의 성능을 달성할 수 있는가?
• RQ4 생성자 단계당 비평가 단계를 한 번만 수행하는 것이 훈련 속도와 성능에 미치는 영향는 무엇인가?
• RQ5 ACGAN 및 SAGAN과 같은 기존 접근법과 비교했을 때, 다중 허지 손실의 Inception Score와 FID는 어떠한가?

주요 결과

• SAGAN 훈련 후 전환한 MHGAN는 ImageNet-128에서 Inception Score 169.68과 FID 8.87을 달성하여 성능 향상이 뚜렷하게 나타났다.
• 준지도 학습 환경에서 MHGAN-SSL은 (IS, FID) = (32.40, 26.12)를 기록했으며, ACGAN-SSL과 동일한 성능을 달성하면서도 더 빠른 훈련 속도를 보였다.
• MHSharedGAN 변종은 파라미터 공유 시 생성자 다양성이 급격히 감소함을 보여주었으며, 이는 분류와 식별 작업의 밀접한 통합이 샘플 다양성에 악영향을 준다는 것을 시사한다.
• MHSharedGAN 하에서 프로젝션 비평가의 고유값 스펙트럼은 시그모이드에서 지수형 형태로 변화하여, 몇몇 지배적인 차원으로 붕괴됨을 나타낸다.
• 100만 번째 스텝 이후 표준 GAN 손실에서 다중 허지 손실로 전환한 결과, 단 5,000 반복 내에 Inception Score가 250% 증가(47.79 → 169.68)하였다.
• 준지도 학습 환경에서 높은 분류기 정확도(검증 정확도 약 40%, 자기 정확도 >80%)를 유지함으로써, 생성 및 분류의 효과적인 공동 훈련이 이루어졌음을 확인하였다.