[논문 리뷰] Latent Variable Modelling Using Variational Autoencoders: A survey

Vasanth Kalingeri|arXiv (Cornell University)|2022. 06. 20.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 종합적 서베이는 잠재 변수 모델링의 프레임워크로서 변분 오토인코더(VAEs)에 대한 포괄적인 개요를 제공한다. 이는 이론적 기초, 최적화 기법, 최근 발전을 설명하며, 복잡한 사후 분포를 추정하기 위해 변분 추론을 사용하는 방식을 상세히 기술한다. 또한 재표현 기법과 스코어 함수 기반 기울기 간의 비교를 다루고, 모델 용량 향상, 기울기 분산 감소, 이산 잠재 변수 모델링을 위한 기법들을 검토한다.

ABSTRACT

A probability distribution allows practitioners to uncover hidden structure in the data and build models to solve supervised learning problems using limited data. The focus of this report is on Variational autoencoders, a method to learn the probability distribution of large complex datasets. The report provides a theoretical understanding of variational autoencoders and consolidates the current research in the field. The report is divided into multiple chapters, the first chapter introduces the problem, describes variational autoencoders and identifies key research directions in the field. Chapters 2, 3, 4 and 5 dive into the details of each of the key research areas. Chapter 6 concludes the report and suggests directions for future work. A reader who has a basic idea of machine learning but wants to learn about general themes in machine learning research can benefit from the report. The report explains central ideas on learning probability distributions, what people did to make this tractable and goes into details around how deep learning is currently applied. The report also serves a gentle introduction for someone looking to contribute to this sub-field.

연구 동기 및 목표

• 변분 오토인코더(VAEs)를 복잡한 데이터 분포를 학습하는 스케일러블한 방법으로 통합된 이론적이고 실용적인 이해를 제공하는 것.
• 개선된 추론, 더 나은 디코더, 이산 잠재 상태 모델링을 포함한 VAE 분야의 핵심 연구 방향을 식별하고 분석하는 것.
• 재표현 기법과 스코어 함수 기반 기울기 간의 상호 상충 관계를 설명하며, 기울기 분산 감소와 최적화 안정성에 중점을 두는 것.
• 정규화 플로우, 베이지안 비모수 통계, 제어 변수와 같은 최근 기법들이 VAE 성능과 표현력을 향상시키는 방식을 서베이하는 것.
• 딥 생성 모델링 분야에 진입하는 연구자들에게 기초 자료를 제공하는 것.

제안 방법

• 관측 데이터의 잠재 변수 모델 하에서의 주변 로그우도를 근사하기 위해 증거 하한값(ELBO)을 목적 함수로 사용한다.
• 잠재 변수를 노이즈 변수의 결정적 함수로 표현함으로써, 확률적 노드를 통한 저분산 백프로파게이션을 가능하게 하는 재표현 기법을 적용한다.
• 비재표현 가능한 분포, 특히 이산 잠재 변수에 대해 스코어 함수 기반 기울기(REINFORCE)를 적용하고, 기울기 분산 감소를 위해 제어 변수를 사용한다.
• 유연성과 표현력을 높이기 위해 계층적 추론과 정규화 플로우를 도입한다.
• 비모수적 잠재 공간 모델링과 일반화 성능 향상을 위해 변분 가우시안 프로세스와 베이지안 비모수 기법을 활용한다.
• ELBO 근사를 정밀화하고 학습 안정성 및 수렴성을 향상시키기 위해 중요도 샘플링과 몬테카를로 목적 함수를 적용한다.

실험 결과

연구 질문

• RQ1 이미지나 텍스트와 같은 고차원 복잡한 데이터 분포를 더 잘 모델링하기 위해 변분 오토인코더는 어떻게 향상시킬 수 있는가?
• RQ2 VAE 최적화에서 재표현 기반 기울기와 스코어 함수 기반 기울기 간의 상호 상충 관계는 무엇이며, 기울기 분산은 어떻게 효과적으로 감소시킬 수 있는가?
• RQ3 재표현 기법이 적용되지 않는 경우, VAE에서 이산 잠재 변수는 어떻게 모델링할 수 있는가?
• RQ4 계산 비용 증가 없이 추론 네트워크와 디코더의 표현력을 향상시키는 기법은 무엇인가?
• RQ5 정규화 플로우와 베이지안 비모수 기법은 학습된 잠재 표현의 품질과 유연성을 어떻게 향상시키는가?

주요 결과

• 재표현 기법은 잠재 변수 샘플링 과정을 통해 저분산, 미분 가능한 기울기를 가능하게 하여 연속 잠재 변수에 대한 VAE 학습의 안정성과 효율성을 보장한다.
• 스코어 함수 기반 기울기는 비재표현 가능한 분포(예: 이산 변수)에 적용 가능하지만 높은 분산을 보이며, 제어 변수와 Rao–Blackwellization를 통해 이 분산을 감소시킬 수 있다.
• 정규화 플로우는 간단한 기저 분포를 가역적이고 미분 가능한 변환을 통해 복잡한 분포로 변환함으로써 근사 사후 분포의 유연성을 크게 향상시킨다.
• 계층적 추론과 변분 가우시안 프로세스는 더 표현력 있고 적응적인 사후 근사 분포를 가능하게 하여 모델 용량과 일반화 성능을 향상시킨다.
• 중요도 샘플링과 몬테카를로 목적 함수는 주변 우도에 대한 더 날카운 경계를 제공하여 최적화 향상과 더 나은 생성 품질을 이끈다.
• 이산 잠재 변수의 연속적 근사, 예를 들어 Gumbel-Softmax 트릭은 기울기 전파가 가능한 샘플링을 제공함으로써 이산 잠재 변수를 갖는 VAE의 엔드 투 엔드 학습을 가능하게 한다.