[논문 리뷰] Transflow Learning: Repurposing Flow Models Without Retraining

Andrew Gambardella, Atılım Güneş Baydin외 1명|arXiv (Cornell University)|2019. 11. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 6

한 줄 요약

Transflow 학습은 사전 훈련된 가역 생성 모델(예: 정규화 흐름)을 재훈련 없이 새로운 분포의 데이터를 생성하도록 제로샷 적응을 가능하게 한다. 소수의 관측 데이터 포인트를 사용해 잠재 공간에서 베이지안 추론을 수행하여 사전 분포를 왜곡함으로써 강력한 소수 샘플 분류 및 스타일 전이 성능를 달성하며, 레이블이 30개 뿐인 MNIST에서 k-NN 기반 모델을 능가한다.

ABSTRACT

It is well known that deep generative models have a rich latent space, and that it is possible to smoothly manipulate their outputs by traversing this latent space. Recently, architectures have emerged that allow for more complex manipulations, such as making an image look as though it were from a different class, or painted in a certain style. These methods typically require large amounts of training in order to learn a single class of manipulations. We present Transflow Learning, a method for transforming a pre-trained generative model so that its outputs more closely resemble data that we provide afterwards. In contrast to previous methods, Transflow Learning does not require any training at all, and instead warps the probability distribution from which we sample latent vectors using Bayesian inference. Transflow Learning can be used to solve a wide variety of tasks, such as neural style transfer and few-shot classification.

연구 동기 및 목표

• 재훈련 없이 사전 훈련된 가역 생성 모델에서 새로운 데이터 분포로의 전이 학습을 가능하게 하기 위해.
• 잠재 공간 추론을 활용해 소수 샘플 학습에서의 샘플 효율성 문제를 해결하기 위해.
• 사전 훈련된 모델(예: CelebA에서 훈련된 모델)의 지식이 분류 및 스타일 전이와 같은 후행 작업에 재사용될 수 있음을 보여주기 위해.
• 기울기 업데이트와 역전파를 방지함으로써 미세조정에 대한 저비용 대안을 제공하기 위해.
• 부분적 또는 다중 모odal 데이터(예: 오직 오디오)에 조건을 줌으로써 생성 가능성을 탐색하기 위해.

제안 방법

• 기존의 잠재 사전 분포 $ q(\mathbf{z}) $ 를 베이지안 사전 분포로 간주하고, $ m $개의 관측 데이터 포인트 $ \mathbf{x}_{1:m} $ 를 잠재 벡터 $ \bm{\zeta}_i = f^{-1}(\mathbf{x}_i) $ 로 매핑함으로써 조건부로 설정한다.
• 베이지안 사후 추론을 사용하여 새로운 사후 분포 $ q(\mathbf{z}|\bm{\zeta}_{1:m}) $ 를 계산하며, 이는 샘플링 분포를 새로운 데이터 만행으로 이동시킨다.
• 관측된 데이터를 잠재 공간으로 매핑하기 위해 역흐름 $ f^{-1} $ 를 활용함으로써 모델 재훈련 없이도 분포 왜곡이 가능하다.
• 사후 분포 $ q(\mathbf{z}|\bm{\zeta}_{1:m}) $ 에서 샘플을 추출하고 이를 전방 흐름 $ f $ 를 통과시켜 새로운 샘플을 생성한다.
• 사후 분포의 안정성과 모드 붕괴 방지를 위해 정규화 항 $ \lambda \| \mathbb{E}[\mathbf{z}] - \bar{\bm{\zeta}} \|_2^2 $ 을 적용한다.
• 분류에 대해 사후 예측 분포를 사용하며, 가장 높은 사후 확률에 해당하는 클래스가 최종 예측 클래스가 된다.

실험 결과

연구 질문

• RQ1 재훈련 없이 사전 훈련된 가역 생성 모델을 새로운 분포의 데이터 생성에 적응시킬 수 있는가?
• RQ2 소수의 레이블이 있는 예시만으로도 베이지안 잠재 공간 왜곡이 얼마나 효과적인가?
• RQ3 낮은 데이터 환경에서 미세조정된 모델이나 k-NN 기반 모델과 비교해 Transflow 학습이 경쟁적인 성능을 낼 수 있는가?
• RQ4 이 방법이 비흐름 모델이나 다중 조건부 입력에 적용될 때의 한계는 무엇인가?
• RQ5 오직 부분적 데이터(예: 오직 오디오)에 조건을 줄 경우 이 방법의 성능는 어떠한가?

주요 결과

• CelebA에서 훈련된 흐름 모델을 사용해 30-shot MNIST 분류에서 69.52%의 정확도를 달성했으며, 픽셀 공간 k-NN(20.55%)와 잠재 공간 k-NN(47.58%)를 모두 능가했다.
• 클래스당 레이블이 1개 뿐인 경우 Transflow 학습은 30.39%의 정확도를 기록했으며, 픽셀 공간 k-NN(14.99%)를 크게 앞서고 잠재 공간 k-NN(27.78%)와 유사한 성능를 보였다.
• 샘플 수 $ m $ 가 증가할수록 샘플 품질이 저하되었는데, 이는 사후 평균이 원점(즉, '자연스러운' 얼굴 분포) 쪽으로 수렴하기 때문이지만, 분류 정확도는 사후 분포의 집중도 향상으로 인해 향상되었다.
• 이 방법은 $ f^{-1} $ 의 $ m $ 번의 평가만으로도 가능하므로 기울기 기반 미세조정에 비해 계산적으로 효율적이다.
• 모델 업데이트 없이도 스타일 전이 및 소수 샘플 분류가 성공적으로 수행되어 사전 훈련된 모델에서 제로샷 전이의 가능성을 입증했다.
• 이 방법은 BiGAN과 같은 다른 가역 모델에도 일반화 가능하며, 더 작은 잠재 공간은 더 세밀한 제어와 낮은 $ \lambda $ 값 가능성을 제공한다.