[논문 리뷰] Deep Learning and Hierarchal Generative Models

Elchanan Mossel|arXiv (Cornell University)|2016. 12. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 11

한 줄 요약

이 논문은 깊이 학습이 반복적이고 효율적인 반면, 국소적이고 浅층적 알고리즘은 비효율적임을 증명하는 단순한 생성적 계층 모델을 제안한다. 국소적·지역적 알고리즘은 저차원 통계 또는 국소적 특징에 국한되어 있어서 레이블이 없는 데이터를 효과적으로 분류할 수 없으며, 반면 전체 데이터 상관관계를 사용하는 깊이 학습 알고리즘은 완벽한 레이블링을 달성함으로써 이러한 모델에서 깊이의 이론적 필요성을 입증한다.

ABSTRACT

It is argued that deep learning is efficient for data that is generated from hierarchal generative models. Examples of such generative models include wavelet scattering networks, functions of compositional structure, and deep rendering models. Unfortunately so far, for all such models, it is either not rigorously known that they can be learned efficiently, or it is not known that "deep algorithms" are required in order to learn them. We propose a simple family of "generative hierarchal models" which can be efficiently learned and where "deep" algorithm are necessary for learning. Our definition of "deep" algorithms is based on the empirical observation that deep nets necessarily use correlations between features. More formally, we show that in a semi-supervised setting, given access to low-order moments of the labeled data and all of the unlabeled data, it is information theoretically impossible to perform classification while at the same time there is an efficient algorithm, that given all labelled and unlabeled data, perfectly labels all unlabelled data with high probability. For the proof, we use and strengthen the fact that Belief Propagation does not admit a good approximation in terms of linear functions.

연구 동기 및 목표

• 계층적 생성 과정에서 데이터를 학습하는 데 깊이 학습이 뛰어나다는 가설을 수학적으로 정의하기.
• 깊이 학습이 필수적임을 증명할 수 있는 수학적으로 다룰 수 있는 생성 모델을 구축하기.
• 정보 이론적 경계를 사용하여 얕고 국소적인 알고리즘의 반경험적 한계를 반경험적으로 보여주기.
• 깊이 학습의 성공과 고차원 특징 상관관계 사용 간의 공식적 연결을 제공하기.
• 진화수 나무 모델을 개선하여 레이블, 특징 순열, 특징 상호작용을 통합함으로써 깊이 학습의 동역학을 더 잘 반영하기.

제안 방법

• 노드에 레이블과 표현(예: DNA 서열)이 있는 트리 위에 대칭 마르코프 모델을 도입한다.
• 부모-자식 노드 간의 순열을 통해 특징의 진화를 모델링함으로써 딥 네트워크에서의 표현 변화를 반영한다.
• 로컬 알고리즘을 정의: 각 점을 독립적으로 레이블링하며, 전역 상관관계 없이 레이블된 데이터만 사용한다.
• 얕은 알고리즘을 정의: 레이블된 데이터의 유한 차수 요약 통계에 국한되며 고차원 특징 상관관계를 배제한다.
• 신뢰도 전파와 강건한 재구성 이론을 사용하여 깊이가 클 경우 레이블된 데이터 수가 루트 레이블과 거의 독립적이 된다는 것을 보여준다.
• 레퍼런스 8.1을 통해 재구성 오차의 지수 감쇠 경계를 적용하여, 圧축된 레이블된 데이터가 레이블이 없는 데이터에 거의 정보가 없음을 증명한다.

실험 결과

연구 질문

• RQ1 깊이 학습이 효율적인 반경험적 분류를 위해 증명 가능하게 필요한 생성 모델을 구성할 수 있는가?
• RQ2 얕고 국소적인 알고리즘이 고차원 특징 상관관계를 포착하지 못함으로써 계층 모델에서 얼마나 심각하게 실패하는가?
• RQ3 깊이에 따라 재구성 오차가 지수적으로 감소함으로써 계층 모델의 학습 가능성에 어떤 영향을 미치는가?
• RQ4 엄밀한 생성 모델을 사용하여 딥 네트워크가 특징 간 상관관계를 이용함으로써 성공한다는 아이디어를 수학적으로 정의할 수 있는가?
• RQ5 트리 구조에 특징 순열과 레이블 전파를 통합함으로써 깊이 학습과 얕은 학습 알고리즘 간의 분리가 발생하는가?

주요 결과

• 제안된 계층 모델에서, 로컬 알고리즘은 정보 이론적 독립성으로 인해 랜덤 추측 수준 이하의 성능(오차율 최소 $M^{-1}$)을 보이며, 圧축된 레이블된 데이터가 루트 레이블과 독립적임을 입증한다.
• 유한 차수 통계에 국한된 얕은 알고리즘은 깊이 $h$가 클 경우 레이블된 데이터 수의 분포가 진짜 루트 레이블과 거의 독립적이므로 증명적으로 비효율적임을 입증한다.
• 논문은 재구성 오차의 지수 감쇠를 확립한다: $\eta \leq C \exp(-ch)$, 여기서 $\eta$ 는 레이블에 의존하지 않는 분포에서의 편차를 측정하며, 이는 레이블된 데이터가 渐近적으로 정보가 없음을 보여준다.
• 모든 레이블된 데이터와 레이블이 없는 데이터를 사용하는 효율적인 깊이 학습 알고리즘이 존재하며, 이는 레이블이 없는 데이터를 고확률로 완벽하게 레이블링할 수 있음을 증명함으로써 깊이 학습이 효율성을 위해 필수적임을 입증한다.
• 모델는 신뢰도 전파가 선형 함수로 잘 근사될 수 없음을 보여주며, 이는 계층적이고 깊이 학습 아키텍처의 필요성을 강화한다.
• 모델는 $d\lambda^2 < 1$ 인 광범위한 클래스에 대해 성립하며, $k$-문자 알파벳을 포함한 모델들에 일반화되어 이전의 카운트 재구성 결과를 일반화한다.