[논문 리뷰] High-Dimensional Probability Estimation with Deep Density Models

Oren Rippel, Ryan P. Adams|arXiv (Cornell University)|2013. 02. 20.

Generative Adversarial Networks and Image Synthesis인용 수 59

한 줄 요약

이 논문은 고차원 데이터에서 정확한 밀도 추정을 가능하게 하는 정규화 흐름 기반의 딥 디נס티티 모델(DDM)을 소개한다. DDM은 깊은 신경망을 사용해 고차원 데이터를 암묵적으로 인버티블리 변환하여, 약간의 분리된, 알려진 마진 분포를 가진 잠재 공간으로 매핑한다. 자코비안 행렬식이 해석 가능하도록 보장함으로써 DDM은 분할 함수 없이도 정확한 밀도 추정이 가능하게 하여, 효율적인 가능도 계산, 직접 샘플링, 준감독 학습 및 校정된 베이지안 분류에의 응용을 가능하게 한다.

ABSTRACT

One of the fundamental problems in machine learning is the estimation of a probability distribution from data. Many techniques have been proposed to study the structure of data, most often building around the assumption that observations lie on a lower-dimensional manifold of high probability. It has been more difficult, however, to exploit this insight to build explicit, tractable density models for high-dimensional data. In this paper, we introduce the deep density model (DDM), a new approach to density estimation. We exploit insights from deep learning to construct a bijective map to a representation space, under which the transformation of the distribution of the data is approximately factorized and has identical and known marginal densities. The simplicity of the latent distribution under the model allows us to feasibly explore it, and the invertibility of the map to characterize contraction of measure across it. This enables us to compute normalized densities for out-of-sample data. This combination of tractability and flexibility allows us to tackle a variety of probabilistic tasks on high-dimensional datasets, including: rapid computation of normalized densities at test-time without evaluating a partition function; generation of samples without MCMC; and characterization of the joint entropy of the data.

연구 동기 및 목표

• 기존의 MCMC나 분할 함수 계산이 어려운 고차원 데이터에 대해 해석 가능한 정규화된 밀도 추정의 과제를 해결한다.
• 정규화되지 않은 모델(예: 비방향 모델)이나 추론 비용이 큰 모델(예: 유도 모델)의 한계를 극복하여, 완전히 정규화되고 해석 가능한 가능도를 제공한다.
• 딥 러닝과 미분기하학의 통찰을 활용해 복잡한 데이터 분포를 단순하고 분리된 잠재 분포로 매핑하는 유연하고 역행 가능한 변환을 구축한다.
• 정확하고 보정된 확률 추정을 제공함으로써 생성 모델링, 준감독 학습, 베이지안 분류 등 새로운 응용을 가능하게 한다.
• 학습된 잠재 표현과 그 변환 성질을 통해 고차원 데이터 분포의 엔트로피 및 정보이론적 구조를 규명한다.

제안 방법

• 관측된 데이터 공간에서 저차원 잠재 공간으로의 깊은 신경망 기반의 이항 변환(역행 가능한 매핑)을 정의한다.
• 잠재 공간에서 유도된 분포가 알려진 해석 가능한 마진 밀도(예: 베타 또는 베르누이 분포)를 가진 약간의 분리된 형태가 되도록 변환을 최적화한다.
• 변수변환 공식을 사용해 정규화된 밀도를 계산한다: $ p_{\mathbf{Y}}(\mathbf{y}) = p_{\mathbf{Z}}(\mathbf{z}) \cdot \left| \det \mathbf{J}_{\mathbf{y} \to \mathbf{z}} \right| $, 여기서 $ \mathbf{z} = f(\mathbf{y}) $ 이고 $ \mathbf{J} $ 는 변환의 자코비안이다.
• 잠재 공간에서의 근사적 독립성을 확보하기 위해 흩어짐 과정을 통해 희박하고 상관성이 없는 표현을 장려한다.
• 변환의 역행성 덕분에 간단한 잠재 분포에서 샘플을 추출하고 역망을 통과시켜 데이터 분포에서 직접 샘플링이 가능하다.
• 클래스 조건부 DDM을 학습하고 가중치가 부여된 데이터를 사용한 기대값-최대화 기반의 알고리즘을 적용하여 일반화 성능을 향상시키는 방식으로 감독 및 준감독 학습에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 고차원 데이터를 해석 가능한, 분리된 마진 밀도를 가진 잠재 공간으로 변환하는 민첩하고 역행 가능한 깊은 네트워크를 구성할 수 있는가?
• RQ2 분할 함수 계산 없이도 밀도 추정이 완전히 정규화되어 있는지 보장할 수 있는가?
• RQ3 학습된 잠재 표현이 고차원 데이터의 내재된 구조(예: 다양체 또는 저차원 부분공간)를 어느 정도 잘 포괄할 수 있는가?
• RQ4 MCMC 없이도 정확하고 효율적인 가능도 추론과 직접 샘플링이 가능한가? 이는 확률 모델링에서 실용적인 응용을 가능하게 하는가?
• RQ5 DDM에서 유도된 정규화된 밀도는 어떻게 사용되어 보정된 베이지안 분류기와 밀도 기반 정규화를 통한 준감독 학습을 향상시킬 수 있는가?

주요 결과

• DDM은 역행 가능한 깊은 네트워크와 해석 가능한 자코비안 행렬식을 활용해 고차원 데이터에 대해 정확하고 정규화된 밀도 추정을 수행하며, 분할 함수 계산이 필요 없게 되었다.
• MNIST 데이터셋에서 모델의 마진 엔트로피는 20.72로 측정되었으며, 이는 $ p \approx 0.0465 $ 인 베르누이 모델 기대값 21.02에 매우 가까운 것으로, 잠재 분포 근사의 정확성을 검증한다.
• 잠재 공간에서 샘플을 추출하고 역망을 통과시켜 데이터 분포에서 직접 MCMC 없이 샘플링이 가능함을 보여주며, 생성된 샘플의 시각화 결과로 확인된다.
• 클래스 조건부 DDM을 기반으로 한 베이지안 분류기는 외부 클래스 예측의 낮은 밀도를 페널티로 적용했을 때 테스트 오류율 1.614%를 기록했으며, 원시 혼합 모델(9.5% 오류)보다 뚜렷이 뛰어나다.
• 약 95%의 테스트 데이터에 대해 확신 있는 예측을 한 경우, DDM 기반 분류기는 낮은 오류율 0.45%를 기록하여 잘 校정된 불확실성 추정을 보여준다.
• 잠재 공간에서의 밀도 추정을 활용해 비감독 데이터를 활용하는 방식으로, 기대값-최대화 기반 알고리즘을 사용해 가중치가 부여된 데이터로 혼합 모델을 학습함으로써 준감독 학습을 지원한다.