[논문 리뷰] Discriminative Regularization for Generative Models

Alex Lamb, Vincent Dumoulin외 1명|arXiv (Cornell University)|2016. 02. 09.

Neural Networks and Applications참고 문헌 14인용 수 47

한 줄 요약

이 논문은 사전 훈련된 분류기의 특징 표현을 VAE 목표에 통합함으로써 변분 오토에인셔(VEs)에 대한 분류적 정규화를 제안한다. 분류기의 은닉층에서 재구성 오차를 최소화함으로써, 이 방법은 샘플 품질을 향상시켜 특히 얼굴 특징에서 더 선명하고 의미적으로 일관된 이미지를 생성한다. 이는 우도 점수의 향상 없이도 이루어진다.

ABSTRACT

We explore the question of whether the representations learned by classifiers can be used to enhance the quality of generative models. Our conjecture is that labels correspond to characteristics of natural data which are most salient to humans: identity in faces, objects in images, and utterances in speech. We propose to take advantage of this by using the representations from discriminative classifiers to augment the objective function corresponding to a generative model. In particular we enhance the objective function of the variational autoencoder, a popular generative model, with a discriminative regularization term. We show that enhancing the objective function in this way leads to samples that are clearer and have higher visual quality than the samples from the standard variational autoencoders.

연구 동기 및 목표

• 사전 훈련된 분류기의 분류적 표현을 활용하여 변분 오토에인셔(VAEs)의 생성 샘플의 시각적 품질을 향상시키는 것.
• 표준 VAE가 고주파 및 의미적으로 중요한 세부 정보(예: 얼굴 정체성과 물체 구조)를 생성하는 데에 한계를 보이는 문제를 해결하는 것.
• 분류적 정보가 생성 모델을 정규화하는 데 사용될 수 있는지, 인간의 인지와 더 잘 일치하는지 탐구하는 것.
• 분류기 특징을 VAE 목표에 통합함으로써 우도 점수가 감소하더라도 더 높은 시각적 정밀도를 달성할 수 있음을 보여주는 것.

제안 방법

• 기존 VAE 목표에 분류적 정규화 항을 추가하여, VAE의 재구성 결과가 사전 훈련된 분류기의 은닉층 활성화값과 일치하도록 유도한다.
• 컨볼루션 신경망(CNN)을 분류기로 사용하며, 그 중간 특징 맵을 생성 모델의 감독 신호로 활용한다.
• VAE를 훈련시켜 표준 변분 하한과 실제 데이터 및 재구성된 데이터의 분류기 특징 표현 간 L2 거리의 최소화를 동시에 추구한다.
• 분류기 네트워크를 통해 역전파를 수행하여 VAE의 생성 및 추론 네트워크를 업데이트함으로써 정규화를 적용한다.
• 기준 데이터셋에서 생성된 샘플의 로그우도를 근사하기 위해 중요도 샘플링을 사용한다.
• 재구성, 보간, 오류를 시각화하여 분류적 정규화가 잠재공간의 구조와 샘플 품질에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 분류기의 분류적 표현이 변분 오토에인셔(VAE)가 생성하는 샘플의 시각적 품질을 향상시킬 수 있는가?
• RQ2 분류적 모델의 특징 수준에서의 감독을 통합함으로써, 표준 VAE보다 더 선명하고 의미적으로 일관된 재구성을 얻을 수 있는가?
• RQ3 왜 표준 VAE는 고주파 및 의미적 세부 정보를 포착하지 못하는가? 그리고 분류적 정규화가 이러한 결함을 완화할 수 있는가?
• RQ4 분류적 정규화는 생성 샘플의 우도에 어떤 영향을 미치며, 우도와 시각적 품질 사이의 상충 관계는 어떠한가?
• RQ5 분류적 정규화된 샘플에서 발생하는 시각적 오류의 원인은 무엇이며, 이는 분류기의 특징 공간에서의 흐림과 관련이 있는가?

주요 결과

• 분류적 정규화는 표준 VAE보다 훨씬 더 선명하고 현실적인 샘플을 생성하며, 특히 눈과 얼굴 정체성 같은 얼굴 특징에서 두드러진다.
• 이 방법은 눈 모양과 얼굴 대칭성과 같은 정체성과 구조적 세부 정보를 더 잘 유지함으로써 재구성 품질을 향상시킨다.
• CelebA 데이터셋에서, 분류적 정규화를 적용한 모델은 테스트 세트에서 더 낮은 음의 로그우도(NLL)를 기록했다: -1.0866 vs. -1.1835 (정규화 없음), 이는 비록 시각적 품질 향상에도 불구하고 우도가 향상되었음을 시사한다.
• 잠재공간 내 선형 보간은 자세, 성별, 머리카락 색상에서 매끄럽고 현실적인 전환을 보이며, 분리되고 의미 있는 잠재 표현을 나타낸다.
• 배경에서 주로 발생하는 비자연스러운 질감 오류는 분류기의 특징 맵에서의 블러링과 관련이 있으며, 컨볼루션 오토에인셔를 사용한 추론 실험을 통해 확인되었다.
• 모델 복잡도를 증가시키지 않으면서도 시각적 품질을 향상시켰으며, 이는 분류적 정보가 생성 모델을 효과적으로 정규화할 수 있음을 보여준다.