[논문 리뷰] Deep AutoRegressive Networks

Karol Gregor, Ivo Danihelka외 3명|arXiv (Cornell University)|2013. 10. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 112

한 줄 요약

이 논문은 빠르고 정확한 조상 샘플링을 가능하게 하는 자기회귀적 확률적 은닉층을 갖춘 딥 생성형 오토인코더인 딥 오토리그레서티브 네트워크(DARNs)를 소개한다. 모델은 최소 기술 길이(MDL) 최적화를 통해 훈련되며, 이는 변분 추론을 근사하고 MNIST, 아케이드 게임, UCI 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

We introduce a deep, generative autoencoder capable of learning hierarchies of distributed representations from data. Successive deep stochastic hidden layers are equipped with autoregressive connections, which enable the model to be sampled from quickly and exactly via ancestral sampling. We derive an efficient approximate parameter estimation method based on the minimum description length (MDL) principle, which can be seen as maximising a variational lower bound on the log-likelihood, with a feedforward neural network implementing approximate inference. We demonstrate state-of-the-art generative performance on a number of classic data sets: several UCI data sets, MNIST and Atari 2600 games.

연구 동기 및 목표

• 이전 모델에서 느린 상관 샘플링 문제를 해결하기 위해 조상 샘플링을 통해 빠르고 정확한 샘플링을 가능하게 하는 딥 생성형 오토인코더를 개발하는 것.
• 최소 기술 길이(MDL) 원리를 활용한 이론적으로 타당한 훈련 방법을 제공하여 압축되고 중복되지 않는 표현을 보장하는 것.
• 스토캐스틱 은닉층 내부에 자기회귀 연결을 통합하여, 금전적인 계산 비용 없이도 내부층 간의 의존성을 효율적으로 포착하는 것.
• 스토캐스틱 및 결정론적 층을 번갈아 배치한 확장 가능한 딥 아키텍처를 제공하여 계층적 표현 학습을 지원하는 것.
• 이미지 및 순차적 데이터를 포함한 다양한 데이터 모odal에서 최신 기준 생성 성능을 입증하는 것.

제안 방법

• 모델은 자기회귀적 의존성으로 연결된 스토캐스틱 은닉층을 갖춘 딥 아키텍처를 사용하며, 각 유닛은 동일 층의 이전 유닛들과 이전 층의 유닛에 의존한다.
• 디코더는 조상 샘플링을 사용한다: 가장 깊은 층에서 시작하여 위에서 아래로 한 번에 한 유닛씩 샘플링하여 마르코프 체인의 초기화 없이 정확한 샘플을 생성한다.
• 에코더는 관측값이 주어졌을 때 은닉 표현의 사후분포를 근사하기 위해 하향식, 왼쪽에서 오른쪽으로 추론을 수행한다.
• 훈련은 MDL 비용을 최소화함으로써 수행되며, 이는 헬름홀츠 변분 자유 에너지 최소화와 대응하고, 확률적 경사 하강법을 사용한다.
• 재구성 기법을 통해 스토캐스틱 유닛을 통한 역전파를 가능하게 하며, 기울기 분산을 줄이기 위해 제어 변수 기반을 사용한다.
• 기반은 h_i = 0.5에서 평가된 네트워크 출력의 일계 테일러 근사로, 기울기 추정의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 스토캐스틱 은닉층 내부의 자기회귀 연결이 딥 생성 모델에서 빠르고 정확한 조상 샘플링을 가능하게 할 수 있는가?
• RQ2 최소 기술 길이(MDL) 원리에 기반한 훈련이 표준 오토인코더 정규화보다 더 나은 생성 성능과 더 압축된 표현을 제공하는가?
• RQ3 스토캐스틱 및 결정론적 층을 번갈아 배치한 딥 아키텍처는 이미지 및 영상 프레임과 같은 복잡한 데이터에 대해 효과적으로 훈련되고 확장 가능한가?
• RQ4 자기회귀적 내부 의존성의 포함 여부가 비방향적 또는 완전히 연결된 횡방향 연결에 비해 계산 효율성과 모델링 능력 측면에서 어떻게 비교되는가?
• RQ5 DARNs가 MNIST나 아케이드 2600 게임과 같은 벤치마크 데이터셋에서 최신 기준 생성 성능을 얼마나 높이기까지 할 수 있는가?

주요 결과

• DARNs는 MNIST에서 최신 기준 음수 로그우도를 달성하여 테스트 세트 점수 108.5 비트/차원을 기록했으며, 이는 이전 모델들을 능가한다.
• 아케이드 2600 게임에서 DARNs는 테스트 세트 음수 로그우도로 19.9(Freeway), 23.7(Pong), 113.0(Space Invaders), 139.4(River Raid), 217.9(Sea Quest)를 기록했다.
• 로컬 연결 DARNs의 샘플을 통해 훈련 데이터에서 볼 수 없었던 객체의 새로운 조합을 포함한 고품질이고 다양한 샘플을 생성한다.
• 제어 변수 기반의 사용은 훈련 중 기울기 분산을 크게 감소시켜 스토캐스틱 유닛을 통한 안정적인 최적화를 가능하게 한다.
• 모델은 컨volutional 및 로컬 연결 아키텍처로 효과적으로 확장되며, 높은 샘플 품질과 훈련 효율성을 유지한다.
• MDL 기반 훈련 목표는 예측력 있고 생성 가능한, 동시에 압축되고 중복되지 않는 표현을 이끈다.