[논문 리뷰] The Poisson Gamma Belief Network

Mingyuan Zhou, Yulai Cong외 1명|arXiv (Cornell University)|2015. 11. 06.

Bayesian Methods and Mixture Models참고 문헌 26인용 수 14

한 줄 요약

포isson 감마 신뢰 네트워크(Poisson Gamma Belief Network, PGBN)는 고차원의 카운트 데이터를 위한 딥 생성 모델로, 비음수 은닉 유닛에 감마분포를 사용하고 연결 가중치에 딜레르트 분포를 적용하여 상향-하향 기반의 지브스 샘플러를 통해 다중 레이어의 공동 학습을 가능하게 한다. 고정된 첫 번째 레이어 너비 예산 내에서 최적의 레이어 너비를 자동으로 추론하며, 특히 제한된 계산 자원 조건에서 깊이를 증가시킴으로써 얕은 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

To infer a multilayer representation of high-dimensional count vectors, we propose the Poisson gamma belief network (PGBN) that factorizes each of its layers into the product of a connection weight matrix and the nonnegative real hidden units of the next layer. The PGBN's hidden layers are jointly trained with an upward-downward Gibbs sampler, each iteration of which upward samples Dirichlet distributed connection weight vectors starting from the first layer (bottom data layer), and then downward samples gamma distributed hidden units starting from the top hidden layer. The gamma-negative binomial process combined with a layer-wise training strategy allows the PGBN to infer the width of each layer given a fixed budget on the width of the first layer. The PGBN with a single hidden layer reduces to Poisson factor analysis. Example results on text analysis illustrate interesting relationships between the width of the first layer and the inferred network structure, and demonstrate that the PGBN, whose hidden units are imposed with correlated gamma priors, can add more layers to increase its performance gains over Poisson factor analysis, given the same limit on the width of the first layer.

연구 동기 및 목표

• 고차원의 카운트 벡터를 위한 딥 비지도 학습 모델을 개발하여 계층적 구조와 과분산을 효과적으로 포착한다.
• 첫 번째 레이어 너비에 고정된 예산 조건 하에서 네트워크의 깊이와 각 레이어 너비를 자동으로 추론할 수 있도록 한다.
• 감마분포를 가진 은닉 유닛을 유지하면서 모든 레이어를 공동으로 학습할 수 있는 효율적인 추론 알고리즘을 설계한다.
• 동일한 계산 예산 조건에서 첫 번째 레이어가 좁은 깊은 네트워크가 얕고 넓은 네트워크보다 더 뛰어난 성능을 발휘하는지 확인한다.
• 학습 코퍼스의 의미 계층을 반영하는 해석 가능한 합성 문서를 생성하기 위해 최상위 레이어의 은닉 유닛을 네트워크를 거꾸로 전파하여 활용한다.

제안 방법

• 관측된 카운트는 포아송 가능도를 통해 인수분해되며, 각 레이어의 형상 매개변수는 감마분포로 모델링되고 다음 레이어와 감마분포를 가진 가중치를 통해 연결된다.
• 상향-하향 지브스 샘플러는 반복마다 하부에서 상부로 딜레르트 분포를 가진 연결 가중치를 샘플링하고, 상부에서 하부로 감마분포를 가진 은닉 유닛을 샘플링한다.
• 감마-음수 이항 과정(Gamma-negative binomial process)은 은닉 유닛의 계층적 구조를 모델링하고 자동으로 레이어 너비를 추론할 수 있도록 한다.
• 레이어별 학습 전략을 통해 첫 번째 레이어 너비 예산을 기반으로 후속 레이어의 너비를 추론할 수 있다.
• 감마분포의 형상 매개변수의 비공액성 문제를 다루기 위해 데이터 증강과 주변화 기법을 적용하여 효율적인 샘플링을 가능하게 한다.
• 학습된 가중치를 사용하여 최상위 레이어의 감마 유닛을 샘플링하고 네트워크를 거꾸로 전파함으로써 합성 문서를 생성한다.

실험 결과

연구 질문

• RQ1 비음수 실수 은닉 유닛을 가진 딥 신뢰 네트워크가 과분산을 포함한 고차원 카운트 데이터를 효과적으로 모델링할 수 있는가?
• RQ2 첫 번째 레이어 너비가 고정된 계산 예산 조건에서 네트워크의 깊이가 성능에 미치는 영향은 어떠한가?
• RQ3 첫 번째 레이어 너비에 예산이 주어졌을 때 PGBN이 수동 조정 없이 최적의 레이어 너비를 자동으로 추론할 수 있는가?
• RQ4 첫 번째 레이어 너비를 줄이며 깊이를 증가시키는 것이 얕고 넓은 네트워크보다 표현 품질을 향상시키는가?
• RQ5 PGBN은 학습 코퍼스의 의미 계층을 반영하는 해석 가능한 합성 문서를 생성할 수 있는가?

주요 결과

• 고정된 첫 번째 레이어 너비 예산 조건에서, 깊이가 5인 PGBN 아키텍처(T=5)는 얕은 모델보다 더 낮은 테스트 퍼플렉서티를 달성하여 표현 학습 향상을 입증한다.
• K₁max = 200일 경우, PGBN은 깊이 5의 구조(200, 164, 106, 60, 42)를 추론하여 고위 레이어일수록 점점 좁아지는 경향을 보였다.
• K₁max = 800일 경우, 추론된 너비는 (608, 100, 99, 96, 89)였으며, 이는 여유 예산이 있을 경우 레이어 너비의 감쇠 속도가 느려지는 것을 시사한다.
• 단일 은닉 레이어를 가진 PGBN은 포아송 요인 분석으로 축소되며, 이는 존재하는 모델들과의 일관성을 검증한다.
• 최상위 레이어의 감마 유닛에서 유도된 합성 문서는 해석 가능했고 일반적인 의미 주제를 반영하여 모델이 계층적 의미를 효과적으로 포착할 수 있음을 확인했다.
• 문서 분류 작업에서 기준 알고리즘보다 PGBN이 뛰어난 성능을 보였으며, K₁max와 네트워크 깊이가 증가할수록 성능 향상이 뚜렷했다.