[논문 리뷰] Deep Unsupervised Learning using Nonequilibrium Thermodynamics

Jascha Sohl‐Dickstein, Eric A. Weiss외 2명|arXiv (Cornell University)|2015. 03. 12.

Advanced Thermodynamics and Statistical Mechanics참고 문헌 45인용 수 1,415

한 줄 요약

이 논문은 비평형 열역학을 기반으로 한 딥 생성 모델을 소개한다. 이 모델은 데이터의 구조를 점차 파괴하는 전방 확산 과정과 이를 재구성하는 학습된 역방향 과정을 사용한다. 이 방법은 정확한 샘플링, 계산 가능한 로그우도 평가 및 효율적인 사후 추론을 가능하게 하며, MNIST, CIFAR-10 및 사망 잎, 나무 껍질 무늬와 같은 자연 이미지 데이터셋에서 최신 기술 수준의 로그우도 성능을 달성한다.

ABSTRACT

A central problem in machine learning involves modeling complex data-sets using highly flexible families of probability distributions in which learning, sampling, inference, and evaluation are still analytically or computationally tractable. Here, we develop an approach that simultaneously achieves both flexibility and tractability. The essential idea, inspired by non-equilibrium statistical physics, is to systematically and slowly destroy structure in a data distribution through an iterative forward diffusion process. We then learn a reverse diffusion process that restores structure in data, yielding a highly flexible and tractable generative model of the data. This approach allows us to rapidly learn, sample from, and evaluate probabilities in deep generative models with thousands of layers or time steps, as well as to compute conditional and posterior probabilities under the learned model. We additionally release an open source reference implementation of the algorithm.

연구 동기 및 목표

• 확률 모델링에서 오랫동안 지속된 모델의 유연성과 계산의 타당성 사이의 상충 관계를 해결하기 위해.
• 정확한 샘플링, 효율적인 우도 평가 및 계산 가능한 사후 추론이 가능한 생성 모델을 개발하기 위해.
• 계산이 불가능한 정규화 상수에 의존하지 않고도 복잡한 데이터 분포를 고용량으로 모델링하기 위해.
• 합성 분포에서 자연 이미지에 이르기까지 다양한 데이터셋에 적용 가능한 통합 프레임워크를 제공하기 위해.
• 분석적 타당성을 유지하면서도 기준 데이터셋에서 최신 기술 수준의 성능을 보여주기 위해.

제안 방법

• 모델은 시간 단계를 거쳐 점차 가우시안 노이즈를 추가하는 전방 확산 과정을 사용하여 데이터 분포를 표준 정규 분포로 변환한다.
• 노이즈에서 원래 데이터 분포를 재구성하기 위해 학습된 역방향 확산 과정을 사용하며, 이는 신경망이 이동항과 분산항을 예측하는 방식으로 매개변수화된다.
• 역방향 과정은 로그우도에 대한 변분 하한을 최소화하여 학습되며, 진짜 역방향 경로와 모델링된 경로 간의 차이를 최소화한다.
• 확산 체인의 각 단계가 분석적으로 계산 가능하다는 사실을 활용하여 확률과 기울기를 정확히 계산할 수 있다.
• 학습된 모델을 다른 분포와 곱함으로써 조건부 생성과 사후 추론을 지원한다.
• 모든 데이터셋에서 공통된 아키텍처를 사용하는 다중 척도 컨볼루션 구조를 이미지 모델링에 사용한다.

실험 결과

연구 질문

• RQ1 높은 유연성과 함께 로그우도 평가 및 샘플링에 대해 분석적으로 타당한 딥 생성 모델을 만들 수 있는가?
• RQ2 확산 기반 접근법이 CIFAR-10 및 자연 이미지 무늬와 같은 복잡한 데이터셋에서 최신 기술 수준의 로그우도를 달성할 수 있는가?
• RQ3 비평형 확산 과정의 역방향을 학습하는 것이 정확한 샘플링과 효율적인 사후 계산을 가능하게 하는가?
• RQ4 이 방법은 합성 분포에서 실제 세계 이미지에 이르기까지 다양한 데이터 유형으로 일반화될 수 있는가?
• RQ5 기존의 밀도 추정 기법과 비교할 때 이 방법의 성능은 우도와 샘플 품질 측면에서 어떻게 되는가?

주요 결과

• CIFAR-10에서 이 모델은 로그우도의 하한을 -1.10 비트/차원으로 달성하여 이 기준에서 이전 방법들을 능가했다.
• 사망 잎 데이터셋에서는 최신 기술 수준의 성능을 달성하여 복잡한 자연 이미지 통계를 잘 모델링하고 있음을 보여주었다.
• MNIST 데이터셋에서는 이전 방법들과 비교해 유사하거나 더 낫지 않은 로그우도를 달성했으며, 프레임워크 덕분에 정확한 우도 평가가 가능했다.
• 이 방법은 이차원 스위스롤 분포를 성공적으로 모델링했으며, 역방향 과정이 원래 데이터 다양체를 정확히 재구성했다.
• 고품질의 조건부 생성과 사후 추론이 가능했으며, 나무 껍질 무늬 이미지에서 누락된 영역을 성공적으로 보정하는 것으로 확인되었다.
• 알고리즘의 오픈소스 구현체가 공개되어 재현성과 향후 연구를 촉진하고 있다.