[논문 리뷰] A Probabilistic Framework for Deep Learning

Ankit Patel, Tan M. Nguyen외 1명|arXiv (Cornell University)|2016. 12. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 15

한 줄 요약

이 논문은 계층적 애핀 변환을 통해 데이터 내 잡음 변수를 모델링하는 생성적 확률적 프레임워크인 딥 렌더링 믹스처 모델(DRMM)을 소개한다. DRMM에서 최대-합 추론(max-sum inference)가 딥 컨volution 뉴럴 네트워크(DCNs)의 연산을 정확히 재현함을 보여주며, DCN의 원천적 유도를 제공하고 EM 알고리즘을 통한 훈련을 가능하게 하여 MNIST 및 CIFAR10 벤치마크에서 더 빠른 수렴과 경쟁 가능한 정확도를 달성한다.

ABSTRACT

We develop a probabilistic framework for deep learning based on the Deep Rendering Mixture Model (DRMM), a new generative probabilistic model that explicitly capture variations in data due to latent task nuisance variables. We demonstrate that max-sum inference in the DRMM yields an algorithm that exactly reproduces the operations in deep convolutional neural networks (DCNs), providing a first principles derivation. Our framework provides new insights into the successes and shortcomings of DCNs as well as a principled route to their improvement. DRMM training via the Expectation-Maximization (EM) algorithm is a powerful alternative to DCN back-propagation, and initial training results are promising. Classification based on the DRMM and other variants outperforms DCNs in supervised digit classification, training 2-3x faster while achieving similar accuracy. Moreover, the DRMM is applicable to semi-supervised and unsupervised learning tasks, achieving results that are state-of-the-art in several categories on the MNIST benchmark and comparable to state of the art on the CIFAR10 benchmark.

연구 동기 및 목표

• 깊이 있는 컨volution 뉴럴 네트워크(DCNs)의 성공을 잠재된 잡음 변수를 모델링함으로써 원천적 확률적 프레임워크를 개발한다.
• 생성 모델링을 통해 컨벌루션, ReLU, 최대 풀링과 같은 DCN 연산의 이론적 기반을 제공한다.
• 역전파 학습의 대안으로 EM 알고리즘을 제공함으로써 훈련 효율성과 일반화 성능을 향상시킨다.
• 프레임워크를 준지도 학습 및 무지도 학습으로 확장하여 기준 데이터셋에서 뛰어난 성능을 보여준다.

제안 방법

• 잡음 변수를 다수의 수준에서 애핀 변환의 곱을 통해 명시적으로 모델링하는 계층적 생성 모델인 딥 렌더링 믹스처 모델(DRMM)을 제안한다.
• DRMM에서 최대-합 추론과 DCN의 순방향 전파 간의 동치성을 도출하여, 컨벌루션, ReLU, 풀링 레이어에 대한 확률적 해석을 제공한다.
• 편향-분산 트레이드오프를 최적화하기 위해 생성적 DRMM를 비생성 모델로 약화시켜 효과적인 분류를 가능하게 한다.
• 기대-최대화(EM) 알고리즘을 사용해 DRMM를 훈련함으로써 역전파의 대안을 제공하고 수렴 속도를 향상시킨다.
• 표준 벤치마크인 MNIST 및 CIFAR10를 사용해 지도 학습, 준지도 학습, 무지도 학습 작업에 프레임워크를 적용한다.
• 메시지 전파를 최대-합/곱 알고리즘을 통해 효율적인 추론을 수행하고, 파라미터 공유를 통해 과적합을 줄인다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 뉴럴 네트워크는 원천적 확률적 생성 모델에서 어떻게 도출될 수 있는가?
• RQ2 딥 러닝에서 잡음 변수의 역할은 무엇이며, 일반화 성능 향상을 위해 어떻게 명시적으로 모델링할 수 있는가?
• RQ3 EM 알고리즘이 역전파의 타당한 대안이 될 수 있는가? 더 나은 또는 유사한 성능을 달성할 수 있는가?
• RQ4 준지도 및 무지도 학습 환경에서 DRMM 프레임워크는 최첨단 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 컨벌루션, ReLU, 최대 풀링과 같은 DCN의 핵심 구성 요소에 대해 어떤 확률적 해석을 부여할 수 있는가?

주요 결과

• DRMM에서 최대-합 추론은 딥 컨볼루션 뉴럴 네트워크의 순방향 전파를 정확히 재현하며, DCN 연산의 원천적 유도를 제공한다.
• DRMM를 EM 알고리즘으로 훈련할 경우, 역전파보다 2~3배 더 빠른 수렴 속도를 보이며, MNIST 숫자 분류에서 유사한 정확도를 달성한다.
• MNIST 벤치마크에서 5층 DRMM는 지도 학습에서 테스트 오차 0.89%를 기록했고, 6만 개의 무라벨 이미지를 사용한 무지도 사전 훈련에서는 0.58%의 오차를 기록했다.
• 단지 100개의 레이블된 이미지만을 사용한 준지도 학습에서 DRMM는 테스트 오차 3.50%를 기록했으며, 컨브넷과 래더 네트워크를 포함한 다른 방법들보다 뛰어난 성능을 보였다.
• CIFAR10에서 9층 DRMM는 5만 개의 레이블된 이미지를 사용해 테스트 오차 11.37%를 기록했으며, LadderNet 및 ImprovedGAN와 같은 최첨단 모델과 유사한 성능을 보였다.
• DRMM는 의미 있는 특징 계층을 반영하는 필터와 재구성된 이미지를 학습했으며, 무지도 학습 없이도 효과적인 표현 학습을 수행함을 보여주었다.