[논문 리뷰] Learning the Structure of Deep Sparse Graphical Models

Ryan P. Adams, Hanna Wallach외 1명|arXiv (Cornell University)|2009. 12. 31.

Graph Theory and Algorithms참고 문헌 17인용 수 54

한 줄 요약

이 논문은 깊이가 무한하고 희박하며 방향성 있는 그래픽 모델의 구조를 학습할 수 있도록 해주는 비모수 베이지안 사전분포인 연쇄 인디안 뷔페 과정(CIBP)을 소개한다. 비선형 가우시안 신뢰 네트워크와 조합함으로써, 이 프레임워크는 네트워크 깊이, 계층 너비, 간선 구조, 그리고 각 은닉 유닛의 유형(이산 또는 연속)을 동시에 추론할 수 있으며, 이미지 데이터셋에서 적응형이고 데이터 기반의 아키텍처 발견이 가능한 유계 MCMC 추론을 가능하게 한다.

ABSTRACT

Deep belief networks are a powerful way to model complex probability distributions. However, learning the structure of a belief network, particularly one with hidden units, is difficult. The Indian buffet process has been used as a nonparametric Bayesian prior on the directed structure of a belief network with a single infinitely wide hidden layer. In this paper, we introduce the cascading Indian buffet process (CIBP), which provides a nonparametric prior on the structure of a layered, directed belief network that is unbounded in both depth and width, yet allows tractable inference. We use the CIBP prior with the nonlinear Gaussian belief network so each unit can additionally vary its behavior between discrete and continuous representations. We provide Markov chain Monte Carlo algorithms for inference in these belief networks and explore the structures learned on several image data sets.

연구 동기 및 목표

• 은닉 유닛이 관측되지 않은 깊은 신뢰 네트워크의 구조를 학습하는 데 도전하는 문제를 해결하기 위해, 특히 층 수와 유닛 수가 알려져 있지 않은 경우에 대비한다.
• 유한하지 않은 수의 은닉 유닛과 임의의 네트워크 깊이를 허용하면서도 추론이 유계인 비모수 베이지안 사전분포를 개발한다.
• 방향성 간선 구조뿐만 아니라 각 은닉 유닛의 유형(이산 또는 연속)까지 추론할 수 있도록 하여 다양한 표현 행동을 포괄한다.
• 비모수 베이지안 방법과 깊은 신뢰 네트워크를 통합하여, 단일 무한차원 모델 내에서 효과적인 복잡도를 학습함으로써 모델 선택을 피한다.

제안 방법

• 연쇄 인디안 뷔페 과정(CIBP)을 제안한다. 이는 다중 층을 통해 방향성 간선을 나타내는 무한한 계층적 이진 행렬을 생성하는 인디안 뷔페 과정의 새로운 확장이다.
• CIBP를 깊은 신뢰 네트워크의 구조에 대한 비모수 사전분포로 사용하여, 단일 생성 과정을 통해 임의의 깊이와 너비를 가진 네트워크를 허용한다.
• CIBP를 비선형 가우시안 신뢰 네트워크(NLGBN) 프레임워크와 조합함으로써, 각 은닉 유닛의 행동은 정밀도 파라미터에 의해 제어되며, 이는 이산에서 연속 활성화로의 전환을 가능하게 한다.
• 관측된 데이터로부터 잠재 구조, 간선 할당, 유닛 유형, 모델 파라미터를 동시에 추론하기 위해 마르코프 체인 몬테카를로(MCMC) 알고리즘을 사용한다.
• 가중치 행렬과 이진 간선 지시자 간의 하다람드 곱을 적용하여, 부모 유닛들만 활성화 합에 기여하도록 보장한다.
• 범위가 (−1, 1)인 시그모이드 변환을 사용하고, 정밀도 파라미터를 통해 역 링크를 학습함으로써, 민첩하고 연속적이거나 이산적인 유닛 행동을 허용한다.

실험 결과

연구 질문

• RQ1 은닉 유닛이 있는 깊은 신뢰 네트워크의 깊이, 너비, 그리고 방향성 간선 구조를 동시에 추론할 수 있는 비모수 베이지안 사전분포를 설계할 수 있는가?
• RQ2 은닉 유닛이 구조 학습 도중 이산 표현과 연속 표현 사이에서 동적으로 선택할 수 있도록 할 수 있는가?
• RQ3 무한한 모델 차원에도 불구하고 제안된 CIBP가 유계 추론을 보장하는 이론적 보장은 무엇인가?
• RQ4 이 모델은 이미지 데이터의 국소적 대비 전역 상관관계와 같은 다양한 데이터 특성에 어떻게 적응하는가?
• RQ5 사전에 네트워크 깊이나 너비에 대한 가정 없이도 의미 있는 희박하고 계층적인 표현을 발견할 수 있는가?

주요 결과

• CIBP 사전분포는 포스터-리아푸노프 기준을 통한 수렴성 증명을 통해 깊이가 깊고 무한히 넓은 신뢰 네트워크에서의 유계 MCMC 추론을 가능하게 한다.
• MNIST에서 모델은 첫 번째, 두 번째, 세 번째 은닉 층에 각각 약 120개, 100개, 70개의 유닛을 가진 3층 아키텍처를 학습하였다.
• Frey Faces 데이터셋에서는 더 넓고 조밀한 구조를 발견하였으며, 첫 번째 은닉 층에 260개의 유닛이 있었는데, 이는 데이터의 전역 상관관계를 반영한다.
• 이진 간선 행렬에서의 연결 패턴은 MNIST의 국소적 구조에서부터 Frey Faces의 전역적 구조로 다양하게 변화하였으며, 이는 모델이 데이터 통계에 따라 아키텍처를 적응시킬 수 있음을 보여준다.
• MCMC 샘플러는 잘 혼합되었고, 몇 시간의 CPU 시간 후에 합리적인 재구성 결과를 생성하여 안정적이고 효과적인 추론임을 나타낸다.
• 이 프레임워크는 은닉 유닛의 수와 그 운영 유형(이산 또는 연속)을 성공적으로 추론하였으며, 민첩하고 데이터 기반의 표현 학습을 가능하게 하였다.