[논문 리뷰] Adversarial Fisher Vectors for Unsupervised Representation Learning

Shuangfei Zhai, Walter Talbott외 2명|arXiv (Cornell University)|2019. 10. 29.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)의 에너지 기반 모델(EBM) 해석을 활용하여 판별자의 학습된 밀도에서 유용한 비지도 표현을 추출하는 Adversarial Fisher Vectors (AFVs)를 제안한다. EBM에서 피셔 스코어와 피셔 정보를 계산함으로써 AFVs는 분류 및 지각적 유사성에 효과적인 특징 추출을 가능하게 하며, CIFAR-10에서 최고 성능을 기록하고 학습 안정성과 과적합 여부를 모니터링하는 신뢰할 수 있는 지표를 제공한다.

ABSTRACT

We examine Generative Adversarial Networks (GANs) through the lens of deep Energy Based Models (EBMs), with the goal of exploiting the density model that follows from this formulation. In contrast to a traditional view where the discriminator learns a constant function when reaching convergence, here we show that it can provide useful information for downstream tasks, e.g., feature extraction for classification. To be concrete, in the EBM formulation, the discriminator learns an unnormalized density function (i.e., the negative energy term) that characterizes the data manifold. We propose to evaluate both the generator and the discriminator by deriving corresponding Fisher Score and Fisher Information from the EBM. We show that by assuming that the generated examples form an estimate of the learned density, both the Fisher Information and the normalized Fisher Vectors are easy to compute. We also show that we are able to derive a distance metric between examples and between sets of examples. We conduct experiments showing that the GAN-induced Fisher Vectors demonstrate competitive performance as unsupervised feature extractors for classification and perceptual similarity tasks. Code is available at \url{https://github.com/apple/ml-afv}.

연구 동기 및 목표

• 학습된 GAN의 판별자를 깊이 있는 에너지 기반 모델(EBM)의 관점에서 재해석하여, 수렴 시 상수 함수가 아닌 명시적인 밀도 모델로 활용할 수 있도록 한다.
• GAN의 EBM 공식화에서 피셔 벡터와 피셔 거리의 유도를 통해 비지도 표현 학습 및 유사성 추정을 가능하게 한다.
• 생성자 갱신을 약간의 확률적 경량 최적화(MCMC) 샘플링으로 간주함으로써 GAN 학습의 안정성을 향상시킨다.
• 선형 분류 및 지각적 유사성과 같은 후속 작업에서 학습된 표현의 유용성을 평가하여 레이블이 없는 데이터에서도 경쟁 가능한 성능을 보인다.
• 과적합 탐지 및 학습 안정성 모니터링을 위한 신뢰할 수 있는 해석 가능한 지표를 제공한다.

제안 방법

• GAN 학습을 깊이 있는 EBM에서의 변분 추론으로 재정의하여, 판별자가 데이터 밀도를 나타내는 비정규화된 에너지 함수를 학습하도록 한다.
• EBM의 에너지 함수로부터 피셔 스코어와 피셔 정보를 유도함으로써 데이터 샘플에 대한 정규화된 피셔 벡터(AFVs)의 계산을 가능하게 한다.
• 피셔 정보 행렬을 사용하여 개별 샘플 간 및 샘플 집합 간의 피셔 거리 지표를 정의하여 지각적 및 구조적 유사성을 캡처한다.
• MCMC를 영감으로 얻은 생성자 갱신 목적함수를 적용하여 생성 샘플의 국소적 갱신을 강제함으로써 학습 안정성과 수렴성을 향상시킨다.
• 표준 적대적 손실을 사용해 GAN을 학습하면서 동시에 AFVs를 계산하여 특징 추출 및 모델 모니터링을 수행한다.
• 실제 데이터 배치와 생성된 데이터 배치 간의 피셔 거리를 일반화의 Proxy로 사용하여 학습 중 과적합 여부를 탐지한다.

실험 결과

연구 질문

• RQ1 학습된 GAN의 판별자를 상수 함수가 아닌 의미 있는 밀도 모델로 재사용할 수 있는가?
• RQ2 GAN의 EBM 공식화에서 유도된 피셔 벡터는 분류 및 유사성 작업에 효과적인 비지도 표현으로 기능할 수 있는가?
• RQ3 실제 데이터와 생성된 데이터 집합 간의 피셔 거리 모니터링이 학습 진행 상황과 과적합 여부를 신뢰할 수 있는 지표로 작용하는가?
• RQ4 생성자 갱신을 MCMC 샘플링으로 간주함으로써 학습 안정성과 모델 품질이 향상되는가?
• RQ5 기존의 비지도 특징 추출기와 비교해 AFVs는 표준 벤치마크에서 어떤 성능을 보이는가?

주요 결과

• AFVs는 CIFAR-10 선형 분류 벤치마크에서 비지도 특징 표현 중 최고 성능을 기록한다.
• 검증 세트와 생성된 데이터 세트 간의 피셔 거리는 분류 정확도와 강하게 상관되며, 과적합을 탐지할 수 있다. 반면 Inception Score는 이러한 추세를 포착하지 못한다.
• 학습 중 검증 피셔 유사도를 모니터링하면, 특히 학습 데이터가 제한된 경우 모델의 일반화 능력을 신뢰할 수 있는 지표로 제공한다.
• MCMC를 영감으로 얻은 생성자 목적함수를 사용하면 생성 샘플에 대한 갱신 폭이 작아지고 안정성이 향상되며, 특히 초기 학습 단계에서 Inception Score가 향상된다.
• 학습된 밀도 모델이 유도하는 유사성 함수는 인간의 지각적 유사성 판단과 잘 일치하며, 이와 관련하여 기존 지표를 능가한다.
• AFVs는 특징 추출과 세트 수준의 유사성 추정 모두에 효과적이며, 다양한 후속 작업에서의 유용성을 입증한다.