[논문 리뷰] Task Specific Adversarial Cost Function

Antonia Creswell, Anil A. Bharath|arXiv (Cornell University)|2016. 09. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 13

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)를 위한 작업 특화 적대적 손실 함수를 제안하며, 이는 KL[P||Q]를 최소화하는 것(검색 및 분류와 같은 분류 작업을 선호함)과 KL[Q||P]를 최소화하는 것(생성 작업을 선호함) 사이를 초깃값 π로 제어하는 보간을 수행한다. 실험 결과, π를 조정함으로써 생성 성능(부드러운 보간을 통한)과 분류 작업 성능(예: 일회성 학습 및 검색)이 향상되어 표준 GAN 학습을 능가함을 보였다.

ABSTRACT

The cost function used to train a generative model should fit the purpose of the model. If the model is intended for tasks such as generating perceptually correct samples, it is beneficial to maximise the likelihood of a sample drawn from the model, Q, coming from the same distribution as the training data, P. This is equivalent to minimising the Kullback-Leibler (KL) distance, KL[Q||P]. However, if the model is intended for tasks such as retrieval or classification it is beneficial to maximise the likelihood that a sample drawn from the training data is captured by the model, equivalent to minimising KL[P||Q]. The cost function used in adversarial training optimises the Jensen-Shannon entropy which can be seen as an even interpolation between KL[Q||P] and KL[P||Q]. Here, we propose an alternative adversarial cost function which allows easy tuning of the model for either task. Our task specific cost function is evaluated on a dataset of hand-written characters in the following tasks: Generation, retrieval and one-shot learning.

연구 동기 및 목표

• 표준 GAN이 젠슨-섀넌 발산을 최적화하여 순수한 생성 또는 분류 작업에 대해 최적화되지 않는 한계를 해결하기 위해.
• 실제로 생성 가능한 샘플( KL[Q||P] 최소화) 또는 분류 가능한 표현을 학습하는 데 중점을 두기 위해 조정 가능한 손실 함수를 개발하기 위해.
• Omniglot 데이터셋을 사용하여 이미지 생성, 검색 및 일회성 학습을 포함한 다양한 작업에서 제안된 손실 함수를 평가하기 위해.
• 하이퍼파rameter π가 샘플의 현실성과 표현 품질 사이의 트레이드오���을 체계적으로 제어할 수 있음을 보여주기 위해.

제안 방법

• π로 매개변수화된 수정된 적대적 손실 함수를 제안하며, 이는 표준 GAN 손실과 작업 특화 변형 사이를 보간한다.
• 손실 함수는 π가 작을수록 KL[P||Q] 최소화에 가까워지며, 이는 분류 성능을 선호함을 의미한다. 반대로 π가 클수록 KL[Q||P] 최소화에 가까워지며, 이는 생성 성능을 선호함을 의미한다.
• 실제 및 생성된 샘플에 대해 π에 따라 가중치를 다르게 적용하는 수정된 판별자 손실을 사용하여, 학습 목표를 동적으로 조정할 수 있도록 설계된다.
• 학습은 생성자와 판별자의 교차 업데이트를 포함하며, 특히 극단적인 π 값에서의 안정성을 확보하기 위해 업데이트 빈도를 조정한다.
• Omniglot 데이터셋을 사용하여 잠재 공간 내의 보간을 통한 이미지 생성, 그리고 검색 및 일회성 분류 작업을 평가한다.
• 잠재공간에서의 구면 보간(spherical interpolation)을 사용하여, 다양한 π 값에서 생성된 샘플의 품질과 연속성을 시각적으로 평가한다.

실험 결과

연구 질문

• RQ1 이미지 생성 또는 분류 표현 학습을 우선시할 수 있도록 수정된 적대적 손실 함수를 설계할 수 있는가?
• RQ2 하이퍼파rameter π를 조정함으로써 생성 및 분류 작업 양쪽에서 성능 향상을 체계적으로 달성할 수 있는가?
• RQ3 샘플 품질과 표현 유용성 측면에서 제안된 손실 함수는 표준 GAN 학습보다 어떻게 비교되는가?
• RQ4 제안된 손실 함수를 사용하여 일회성 학습 및 검색 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• π = 0.9로 학습된 GAN은 무작위 잠재 코드 사이의 보간이 더 부드러웠으며, 이는 더 나은 샘플 연속성과 현실성( KL[Q||P] 최소화를 지향함)을 의미한다.
• π = 0.01로 학습된 GAN은 표준 GAN보다 검색 및 일회성 학습 작업에서 성능이 뛰어나, 더 나은 분류 표현 학습 능력을 보여주었으며, 이는 KL[P||Q] 최소화와 일치한다.
• 제안된 방법은 Omniglot 데이터셋에서 최초로 알파벳 단위의 일회성 분류 성능를 달성하여, 이전 연구가 랜덤으로 선택된 5개 클래스에서만 평가한 것보다 뛰어난 성능을 보였다.
• π = 0.1일 때 모델는 현실성과 다양성 사이의 균형을 이루었으며, 표준 GAN보다 더 다양한 샘플을 생성하면서도 π = 0.01보다 더 높은 현실성을 유지했다.
• 보간 결과의 시각적 점검에서 π = 0.9를 사용했을 때 잠재공간 내에서 비합리적인 갭이 더 적게 나타나, 데이터 다양체를 더 잘 모델링하고 있음을 확인했다.
• π를 선택하는 것으로 모델 동작을 세밀하게 제어할 수 있으며, 이는 사용자가 하류 작업에 맞게 GAN을 맞춤화할 수 있음을 의미한다.