[논문 리뷰] Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC

Yulai Cong, Bo Chen외 2명|arXiv (Cornell University)|2017. 06. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 37

한 줄 요약

이 논문은 깊이 있는 이산 잠재변수 모델, 특히 LDA의 다층 일반화인 딥 잠재 딜레일레 할당(Deep Latent Dirichlet Allocation, DLDA)에서 스케일러블하고 통합된 추론을 위한 주제-계층-적응형 확률적 그래디언트 리만 MCMC(TLASGR MCMC)를 제안한다. 데이터 증강과 근사화를 통해 분석적 피셔 정보 매트릭스를 유도함으로써, 계층 및 주제별로 적응형 학습률을 가능하게 하여, 비버치(Non-batch) 추론을 통해 대규모 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

It is challenging to develop stochastic gradient based scalable inference for deep discrete latent variable models (LVMs), due to the difficulties in not only computing the gradients, but also adapting the step sizes to different latent factors and hidden layers. For the Poisson gamma belief network (PGBN), a recently proposed deep discrete LVM, we derive an alternative representation that is referred to as deep latent Dirichlet allocation (DLDA). Exploiting data augmentation and marginalization techniques, we derive a block-diagonal Fisher information matrix and its inverse for the simplex-constrained global model parameters of DLDA. Exploiting that Fisher information matrix with stochastic gradient MCMC, we present topic-layer-adaptive stochastic gradient Riemannian (TLASGR) MCMC that jointly learns simplex-constrained global parameters across all layers and topics, with topic and layer specific learning rates. State-of-the-art results are demonstrated on big data sets.

연구 동기 및 목표

• 스케일러블하고 통합된 추론 문제를 해결하기 위해 깊이 있는 이산 잠재변수 모델(LVMs)에서 확률적 그래디언트 MCMC(SG-MCMC)를 적용한다.
• 깊이 있는 LVMs에서 다양한 계층과 주제 간에 학습률을 적응시키는 데 어려움을 해결한다.
• 기존에 버치(Gibbs 샘플링)에 국한된 포isson 감마 신뢰망(Poisson gamma belief network, PGBN)에 대해 비버치, 미니배치 기반 추론을 가능하게 한다.
• 이전에 비가역적이라 여겨졌던 깊이 있는 LVMs를 위한 실용적인 분석적 피셔 정보 매트릭스(FIM)의 형태를 개발한다.
• 단순형 제약 조건을 가진 전역 매개변수를 다루기 위해 새로운 감소 평균 단순형 매개변수화를 SG-MCMC에 통합하여 히우리스틱 가짜우도 가정을 피한다.

제안 방법

• 데이터 증강과 근사화 기법을 사용하여 PGBN의 대체 표현 방식인 딥 잠재 딜레일레 할당(DLDA)을 유도한다.
• DLDA의 단순형 제약 조건을 가진 전역 매개변수에 대해 블록 대각 행렬 형태의 피셔 정보 매트릭스(FIM)를 계산하여, 조건화를 위한 효율적 역행렬 계산을 가능하게 한다.
• 분석적 FIM을 확률적 그래디언트 리만 MCMC 프레임워크 내에서 활용하여 주제-계층-적응형 스텝 사이즈를 유도한다.
• Cong 등(2017)의 빠른 샘플링 절차를 감소 평균 단순형 매개변수화에 통합하여 가짜우도 근사화를 피한다.
• TLASGR MCMC 알고리즘을 적용하여 모든 계층과 주제에서 전역 매개변수를 함께 학습하고, 계층 및 주제별로 적응형 학습률을 적용한다.
• 역 FIM로 조건화된 미니배치 그래디언트를 사용하여 이차 곡률 정보를 활용함으로써 수렴성과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 이산 잠재변수 모델, 예를 들어 PGBN에 대해 분석적이고 실용적인 피셔 정보 매트릭스(FIM)를 도출할 수 있는가?
• RQ2 SG-MCMC가 다중 계층과 주제 간 통합 학습이 가능한 깊이 있는 LVMs에 효과적으로 적용될 수 있는가?
• RQ3 리만 기하학과 FIM을 활용하여 주제 및 계층별로 학습률을 수동 조정 없이 자동으로 적응시킬 수 있는가?
• RQ4 가짜우도 가정 없이 SG-MCMC에 성공적으로 통합된 비가짜우도 단순형 매개변수화를 깊이 있는 LVMs의 전역 매개변수에 적용할 수 있는가?
• RQ5 제안된 TLASGR MCMC 방법이 기존의 추론 방법에 비해 대규모 데이터셋에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 딥 LDA 모델(DLDA)의 피셔 정보 매트릭스(FIM)는 데이터 증강과 근사화를 통해 분석적으로 유도되었으며, 실용적인 이차 추론을 가능하게 한다.
• DLDA의 FIM은 블록 대각 행렬 형태를 가지며, 이는 확률적 그래디언트 MCMC에서 조건화를 위한 효율적 역행렬 계산을 가능하게 한다.
• TLASGR MCMC 알고리즘은 FIM의 리만 기하학적 성질을 활용하여 주제-계층-적응형 학습률을 성공적으로 구현한다.
• 이 방법은 대규모 데이터셋에서 최신 기술 수준의 성능을 달성하여 스케일러비리티와 뛰어난 추론 품질을 입증한다.
• 감소 평균 단순형 매개변수화는 가짜우도 가정 없이 SG-MCMC에 성공적으로 통합되어 단순형 제약 조건을 가진 매개변수에 대한 효율적이고 타당한 추론을 가능하게 한다.
• 제안된 접근법은 PGBN에 대해 비버치, 미니배치 기반 학습을 가능하게 하여 기존 버치 Gibbs 샘플러의 확장성 한계를 극복한다.