[논문 리뷰] A Probabilistic Theory of Deep Learning

Ankit Patel, Minh Tan Nguyen외 1명|arXiv (Cornell University)|2015. 04. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 62

한 줄 요약

이 논문은 난이도 있는 변동 요인(예: 자세, 크기, 톤)을 베이지안 추론을 통해 명시적으로 모델링함으로써 딥러닝이 작동하는 이유를 설명하는 확률적 생성 프레임워크—딥 렌더링 모델(DRM)—을 소개한다. 저자들은 DRM의 결정적 근사화로부터 딥 컨volution 레이어 네트워크(DCNs)와 랜덤 디시전 포레스트(RDFs)를 유도함으로써, DCNs가 확률적 메시지 전파를 수행하며, 드롭아웃 훈련이 누락 데이터 가정 하에 EM 알고리즘에 의해 자연스럽게 유도됨을 보여준다.

ABSTRACT

A grand challenge in machine learning is the development of computational algorithms that match or outperform humans in perceptual inference tasks that are complicated by nuisance variation. For instance, visual object recognition involves the unknown object position, orientation, and scale in object recognition while speech recognition involves the unknown voice pronunciation, pitch, and speed. Recently, a new breed of deep learning algorithms have emerged for high-nuisance inference tasks that routinely yield pattern recognition systems with near- or super-human capabilities. But a fundamental question remains: Why do they work? Intuitions abound, but a coherent framework for understanding, analyzing, and synthesizing deep learning architectures has remained elusive. We answer this question by developing a new probabilistic framework for deep learning based on the Deep Rendering Model: a generative probabilistic model that explicitly captures latent nuisance variation. By relaxing the generative model to a discriminative one, we can recover two of the current leading deep learning systems, deep convolutional neural networks and random decision forests, providing insights into their successes and shortcomings, as well as a principled route to their improvement.

연구 동기 및 목표

• 고노이즈 추론 과제에서 딥러닝 아키텍처가 성공하는 이유를 설명하는 일관된 이론적 프레임워크를 개발하는 것.
• 객체 위치, 음성 톤 등과 같은 노이즈 변수를 베이지안 생성 접근법을 사용해 명시적으로 모델링하는 것.
• 딥 컨volution 레이어 네트워크(DCNs)와 랜덤 디시전 포레스트(RDFs)를 동일한 확률적 기반으로 통합하는 것.
• 누락 데이터를 가진 생성 모델에 EM 알고리즘을 적용함으로써 드롭아웃 훈련을 유도하는 것.
• 확률적 분석과 추론을 통해 딥러닝 모델을 개선하기 위한 체계적인 접근을 제공하는 것.

제안 방법

• 노이즈 변수(예: 자세, 크기)를 잠재 변수를 통해 포괄하는 계층적 베이지안 생성 모델인 딥 렌더링 모델(DRM)을 제안한다.
• 메시지 전파를 통해 DRM의 확률적 구조에서 딥 컨볼루션 네트워크의 핵심 구성요소(예: 컨볼루션, 맥스 풀링)를 유도한다.
• 관측 데이터와 잠재 노이즈 변수의 동시 추론을 가능하게 하기 위해 데이터로부터 DRM의 파라미터를 학습하기 위해 기대값 최대화(EM) 알고리즘을 사용한다.
• 생성 모델을 결정적 모델로 단순화하여 DCNs와 RDFs를 복원함으로써, 이들의 확률적 의미를 보여준다.
• 누락 데이터가 있는 생성 모델에 EM 알고리즘을 적용하여 드롭아웃을 도출한다: 소프트 E-단계는 앙상블 평균화를 근사하고, 결정적 M-단계는 드롭아웃 훈련을 산출한다.
• 최종 최적화 목표가 무작위로 마스킹된 데이터 서브셋에 대해 공유 가중치를 가진 모델 앙상블을 훈련하는 것과 동일한 것으로 나타나, 드롭아웃 알고리즘과 정확히 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 고차원 입력에서 노이즈 변수가 존재함에도 불구하고 딥 컨볼루션 네트워크(DCNs)가 잘 일반화되는 이유는 무엇인가?
• RQ2 드롭아웃 훈련이 확률적 프레임워크 내에서 어떻게 체계적으로 정당화될 수 있는가?
• RQ3 딥러닝이 노이즈 변수를 다루는 데 성공하는 데 배경이 되는 확률적 메커니즘은 무엇인가?
• RQ4 딥 컨볼루션 네트워크와 랜덤 디시전 포레스트는 공통의 생성 모델을 통해 어떻게 관련이 있는가?
• RQ5 EM 알고리즘을 재사용하여 드롭아웃 훈련과 같은 결정적 딥러닝 알고리즘을 도출할 수 있는가?

주요 결과

• 딥 컨볼루션 네트워크(DCNs)는 딥 렌더링 모델(DRM)에서 파생된 확률적 메시지 전파 네트워크와 동일하며, 이로 인해 완전한 확률적 의미를 갖게 된다.
• DCNs의 맥스 풀링은 공간적 위치에 대한 확률적 적분을 수행하며, 생성 모델에서의 노이즈 변수를 통합하는 것과 동일하다.
• 드롭아웃 훈련은 완전히 무작위로 누락된 데이터를 가진 노이즈가 없는 가우시안 렌더링 모델에 EM 알고리즘을 적용하여 공식적으로 도출된다.
• 최종 최적화 목표는 공유 가중치를 가진 무작위로 마스킹된 데이터 서브셋에 대해 모델 앙상블을 훈련하는 것과 동일하며, 드롭아웃 알고리즘과 정확히 일치한다.
• 생성 모델에 EM 알고리즘을 적용하면 표준 백프로파게이션과 드롭아웃 훈련 루프를 따르는 결정적 훈련 절차가 유도된다.
• 이 프레임워크는 DCNs, RDFs, 드롭아웃을 하나의 확률적 이론 아래 통합하여, 모델 설계와 개선을 위한 체계적인 기반을 제공한다.