[논문 리뷰] Meta-Amortized Variational Inference and Learning

Mike Wu, Kristy Choi외 2명|arXiv (Cornell University)|2019. 02. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 11

한 줄 요약

이 논문은 관련된 확률적 모델과 데이터 변환 간의 이식 가능한 잠재 표현을 학습하는 双중 암시적(amortized) 프레임워크인 메타-암시적 변분 추론(meta-amortized variational inference)을 소개한다. 다양한 분포(예: 기울인 또는 확대된 MNIST)의 가족에 대해 메타VAE를 훈련시킴으로써, 이 방법은 시각적 변환에 대한 불변성을 학습하여, 하류 분류 작업에서 성능을 크게 향상시킨다(이상적인 MNIST에서 10–50%, NORB에서 10–35%).

ABSTRACT

Despite the recent success in probabilistic modeling and their applications, generative models trained using traditional inference techniques struggle to adapt to new distributions, even when the target distribution may be closely related to the ones seen during training. In this work, we present a doubly-amortized variational inference procedure as a way to address this challenge. By sharing computation across not only a set of query inputs, but also a set of different, related probabilistic models, we learn transferable latent representations that generalize across several related distributions. In particular, given a set of distributions over images, we find the learned representations to transfer to different data transformations. We empirically demonstrate the effectiveness of our method by introducing the MetaVAE, and show that it significantly outperforms baselines on downstream image classification tasks on MNIST (10-50%) and NORB (10-35%).

연구 동기 및 목표

• 새로운 관련 데이터 분포에 적응할 때 변분 추론의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 입력과 관련된 확률적 모델 모두에 걸쳐 계산을 암시적으로 처리하는 메타 추론 프레임워크를 개발하기 위해.
• 기울임, 확대, 비틀림과 같은 데이터 변환에 대해 불변인 이식 가능한 잠재 표현을 학습하기 위해.
• 통합된 추론 절차를 사용하여 변환된 이미지 분포에서 하류 분류 성능을 향상시키기 위해.
• 메타-암시적 추론이 표준 VAE나 계층적 기준 모델보다 더 나은 불변성 학습을 가능하게 함을 입증하기 위해.

제안 방법

• 다양한 관련된 확률적 모델과 그 입력에 대해 추론을 동시에 최적화하는 새로운 변분 하한인 메타ELBO(MetaELBO)를 제안한다.
• 가역적 생성 모델의 가족에 대한 메타-분포를 도입하여, 데이터 변환과 모델 구조 모두에 걸쳐 공유된 계산을 가능하게 한다.
• 각 입력과 모델 유형(예: 기울인 이미지)을 공통 잠재 표현으로 매핑하는 메타-에ncoder를 사용하여, 가족 전반에 걸쳐 추론을 암시적으로 처리한다.
• 각 모델의 생성 분포가 해당 데이터 마진과 일치하도록 보장하기 위해 사전 정규화 항을 사용한다.
• 메타ELBO 목적 함수를 사용하여 메타VAE를 훈련시켜, 추론 시에 알려지지 않은 변환에 일반화할 수 있도록 한다.
• 대부분의 변환 유형에 걸쳐 표현의 불변성을 정량화하기 위해 L2 거리 분석을 사용한다.

실험 결과

연구 질문

• RQ1 암시적 추론은 입력 뿐 아니라 관련된 확률적 모델의 가족 전반에 걸쳐 일반화될 수 있는가?
• RQ2 변환 간 공유된 표현을 학습함으로써 하류 작업에서 불변성과 일반화 능력이 향상되는가?
• RQ3 메타-암시적 추론은 표준 VAE와 계층적 기준 모델에 비해 데이터 변환을 다룰 때 어떻게 비교되는가?
• RQ4 고도로 비틀림이나 확대와 같은 극단적인 시각적 변환 하에서 메타VAE 표현은 어느 정도 안정성을 유지하는가?
• RQ5 메타-암시적 추론은 복잡하고 상호의존적인 변형이 존재하는 실제 이미지 분포에서 의미 있는 불변성을 포착할 수 있는가?

주요 결과

• 모든 변환 유형에서 변환된 MNIST에서 메타VAE는 VHE와 Neural Statistician보다 10–50% 높은 성능을 기록하며, 극단적인 스케일링이나 비틀림에서도 성능 저하 없이 유지된다.
• Small NORB 데이터셋에서 메타VAE는 복잡하고 상호의존적인 조명, 고도, 방위의 변형이 존재하는 상황에서도 기준 모델보다 10–35% 높은 정확도를 달성한다.
• L2 거리 분석 결과, 메타VAE가 암시적으로 처리하도록 훈련된 변환(예: 기울임)에 대해 표현이 가장 안정적이며, 학습된 불변성이 확인된다.
• 메타VAE의 표현은 변환 하에서도 의미적 내용을 유지하지만, 기준 모델의 표현은 극단적인 스케일링이나 비틀림 하에서 상당히 악화된다.
• 이 방법은 관련 없는 시각적 조작을 추상화하면서도 클래스 구분 정보를 유지하는 이식 가능한 특징을 효과적으로 학습한다.
• 메타-암시적 추론은 훈련 시 명시적 데이터 증강 없이도 알려지지 않은 변환에 효과적으로 일반화할 수 있도록 한다.