[논문 리뷰] Hidden Talents of the Variational Autoencoder

Bin Dai, Yu Wang외 3명|arXiv (Cornell University)|2017. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 17

한 줄 요약

이 논문은 변분 오토인코더(VAEs)가 비선형, 저차원 다양체에 대해 희박한 이상치에 내재된 강건성을 지닌다는 것을 드러낸다. 이는 비선형, 저차원 다양체에 대한 강건한 주성분분석(PCA)의 자연스러운 확장으로 기능한다. 분석 가능한 특수 케이스를 통해, VAEs는 극단적인 오염 상황에서도 재구성 오차를 최소화하여 이상치를 효과적으로 무시하면서도 기저의 다양체 구조를 유지함을 보여준다.

ABSTRACT

Variational autoencoders (VAE) represent a popular, flexible form of deep generative model that can be stochastically fit to samples from a given random process using an information-theoretic variational bound on the true underlying distribution. Once so-obtained, the model can be putatively used to generate new samples from this distribution, or to provide a low-dimensional latent representation of existing samples. While quite effective in numerous application domains, certain important mechanisms which govern the behavior of the VAE are obfuscated by the intractable integrals and resulting stochastic approximations involved. Moreover, as a highly non-convex model, it remains unclear exactly how minima of the underlying energy relate to original design purposes. We attempt to better quantify these issues by analyzing a series of tractable special cases of increasing complexity. In doing so, we unveil interesting connections with more traditional dimensionality reduction models, as well as an intrinsic yet underappreciated propensity for robustly dismissing sparse outliers when estimating latent manifolds. With respect to the latter, we demonstrate that the VAE can be viewed as the natural evolution of recent robust PCA models, capable of learning nonlinear manifolds of unknown dimension obscured by gross corruptions.

연구 동기 및 목표

• 표준 생성 모델링을 넘어서 변분 오토인코더(VAEs)의 숨겨진 강건성 특성들을 조사하기 위해.
• 데이터 다양체에서 극단적인 오염과 희박한 이상치가 존재할 경우 VAE의 행동을 분석하기 위해.
• 특히 비선형, 저차원 설정에서 VAEs와 강건한 PCA 간의 이론적 연결을 수립하기 위해.
• 희박하고 고차원의 이상치에 의해 가려진 잠재 다양체를 학습할 수 있는 VAE의 능력을 정량화하기 위해.
• VAEs가 비선형 데이터에 대해 강건한 PCA 모델의 자연스러운 진화로 기능할 수 있음을 보여주기 위해.

제안 방법

• 저자들은 변분 목표를 단순화하기 위해 조각별 선형 디코더 함수와 가우시안 잠재 변수를 가진 VAE의 분석 가능한 특수 케이스를 분석한다.
• 정량화 기반 디코더를 정의하여 잠재 코드에 기반해 가장 가까운 학습 샘플로 평균 출력을 설정함으로써 재구성 항의 정확한 계산을 가능하게 한다.
• 핵심 요소로는 잠재 코드를 학습 샘플로 매핑하는 조각별 선형 함수 h(z)의 사용이며, 이는 오직 근처 샘플들만 재구성되도록 보장한다.
• 재구성 오차의 기대값을 제한하기 위해 체비세프 부등식을 사용하여 잘못된 정량화의 확률을 제한한다.
• 잠재 거리의 최소값의 역수와 최대 쌍별 데이터 거리에 비례하는 VAE 목표의 상한을 유도한다.
• 하이퍼파rameter λx와 λz를 α로 설정하고 α→0으로 갈수록 상한이 아래로 무한히 확장됨을 보여주며, 유리한 조건 하에서 모델이 임의로 낮은 목표값을 달성할 수 있음을 시사한다.

실험 결과

연구 질문

• RQ1 데이터에 희박하고 고차원의 이상치가 존재할 경우, VAEs는 저차원 다양체를 강건하게 추정할 수 있는가?
• RQ2 극단적인 오염 상황에서 VAE 목표는 어떻게 행동하는가? 그리고 이상치 영향을 자연스럽게 억제하는가?
• RQ3 VAE의 최적화 지형은 어느 정도 강건한 PCA 모델의 지형과 유사한가?
• RQ4 희박한 이상치가 학습 데이터에 존재할 경우 VAE에 대해 유도할 수 있는 이론적 보장은 무엇인가?
• RQ5 VAE의 잠재 공간 최적화는 이상치를 거부하면서 기저의 다양체를 유지하는 데 본질적으로 편향되어 있는가?

주요 결과

• VAE 목표는 잠재 코드 간 최소 거리의 역수에 의존하는 항으로 아래에서 유계가 되며, 이는 잘 분리된 코드가 낮은 재구성 오차를 유도함을 의미한다.
• 기대 재구성 오차는 η/λx × 잘못된 정량화의 확률로 유계가 되며, 여기서 η는 데이터 포인트 간 최대 쌍별 거리이다.
• 체비세프 부등식을 사용하여 잘못된 정량화의 확률은 λz/ρ² 이하로 유계가 되며, 여기서 ρ는 잠재 평균 간 최소 제곱 거리의 반이다.
• 분산 파라미터 α = λx = λz 가 0으로 수렴할수록 VAE 목표의 상한은 아래로 무한히 확장되며, 이는 유리한 잠재 구성 조건 하에서 모델이 임의로 낮은 손실을 달성할 수 있음을 나타낸다.
• 분석 결과, VAE는 재구성 오차가 잘못된 데이터 포인트로 매핑될 경우에만 훼손된 샘플에 대해 페널티를 부과하므로, 적절한 분리 조건 하에서 이상치에 자연스럽게 저항함을 보여준다.
• VAE는 비선형, 알려지지 않은 차원의 다양체에 대해 강건한 PCA의 자연스러운 일반화임이 입증되었으며, 희박한 이상치에 의해 오염되어도 진짜 다양체를 학습할 수 있는 능력을 지닌다.