[논문 리뷰] Variational Inference In Pachinko Allocation Machines

Akash Srivastava, Charles Sutton|arXiv (Cornell University)|2018. 04. 21.

Topic Modeling참고 문헌 21인용 수 6

한 줄 요약

이 논문은 방향 비순환 그래프(DAG)를 통해 주제 간 상관관계를 포착하는 딥 토픽 모델인 파친코 할당 머신(aviPAM)을 위한 암시적 변분 추론을 소개한다. 깊이 있는 신경망을 추론 네트워크로 사용하여 사후분포를 매개변수화함으로써, 기존의 수축된 지브스 샘플링보다 약 10배 빠른 학습 속도를 달성하면서도 주제의 일관성은 높거나 동등한 수준을 유지하여 이전에는 연구하기 어려웠던 복잡한 PAM 아키텍처 탐색을 가능하게 한다.

ABSTRACT

The Pachinko Allocation Machine (PAM) is a deep topic model that allows representing rich correlation structures among topics by a directed acyclic graph over topics. Because of the flexibility of the model, however, approximate inference is very difficult. Perhaps for this reason, only a small number of potential PAM architectures have been explored in the literature. In this paper we present an efficient and flexible amortized variational inference method for PAM, using a deep inference network to parameterize the approximate posterior distribution in a manner similar to the variational autoencoder. Our inference method produces more coherent topics than state-of-art inference methods for PAM while being an order of magnitude faster, which allows exploration of a wider range of PAM architectures than have previously been studied.

연구 동기 및 목표

• 복잡한 모델 아키텍처 탐색을 제한하는 파친코 할당 머신(PAMs)에서의 근사 추론의 계산적 비효율성 문제를 해결하기 위해.
• 각 아키텍처에 맞는 모델 전용 알고리즘을 수립하지 않고도 일반화된 암시적 추론 방법을 PAMs에 개발하기 위해.
• GPU 가속 변분 추론을 활용하여 더 깊고 복잡한 PAM 아키텍처의 효율적 학습을 가능하게 하기 위해.
• 구조적 변분 오토인코더에 적용된 사후분포 붕괴(posterior collapse)를 분석하고 완화하기 위해.

제안 방법

• 모든 은닉 변수에 대한 변분 매개변수를 직접 예측하기 위해 깊이 있는 신경망(추론 네트워크)을 사용하는 암시적 변분 추론 프레임워크(aviPAM)를 제안한다.
• 관측 과정을 루트에서 리프 노드로 향하는 경로를 따라 추적하는 디코더로 모델링함으로써, 변분 오토인코더(VAE) 철학을 PAMs에 적응시킨다.
• 각 단어의 생성 경로가 은닉 변수로 존재하는 복잡하고 고차원적인 은닉 공간을 다룰 수 있도록 특화된 새로운 구조적 VAE 아키텍처를 도입한다.
• 전체 추론 비용을 암시적으로 전이하기 위해, 추론 네트워크를 엔드 투 엔드로 훈련하기 위해 확률적 경사 하강법과 Adam 최적화기를 사용한다.
• 주제 모델링의 맥락에서 VAE에서 흔히 발생하는 사후분포 붕괴 문제를 완화하기 위해 정규화 기법을 적용한다.
• 동일한 추론 프레임워크를 통해 훈련되는 구성 요소들을 활용하여 다수 수준의 해상도에서 계층적 주제 구조를 모델링하는 PAM의 혼합(MoLDA)을 사용한다.

실험 결과

연구 질문

• RQ1 복잡하고 구조화된 은닉 공간을 가진 파친코 할당 머신에 대해 암시적 변분 추론이 효과적으로 적용될 수 있는가?
• RQ2 제안된 추론 방법이 기존의 수축된 지브스 샘플링 대비 더 빠르고 확장 가능한 PAM 학습을 가능하게 하는가?
• RQ3 기존의 추론 기준선 대비 더 높은 품질의 주제(일관성 측정 기준)를 생성할 수 있는가?
• RQ4 이 방법이 더 깊고 더 복잡한 PAM 아키텍처 탐색을 어느 정도 지원할 수 있는가?
• RQ5 정규화 기반 접근법이 주제 모델링에 적용된 구조적 VAE에서 사후분포 붕괴를 얼마나 효과적으로 완화하는가?

주요 결과

• NIPS 데이터셋에서 기존의 수축된 지브스 샘플링 대비 약 10배 빠른 속도로 학습 시간을 15시간 이상에서 2시간 이내로 단축시켰다.
• 속도 향상에도 불구하고, aviPAM가 생성한 주제들은 수축된 지브스 샘플링 및 기타 기준선 대비 동등하거나 더 높은 주제 일관성을 확보했다.
• 20 Newsgroups 데이터셋에서 aviPAM로 훈련된 4-PAM 및 5-PAM 모델은 모든 LDA 유형 모델보다 주제 일관성에서 뛰어난 성능을 보였다.
• aviPAM로 훈련된 PAM의 혼합(MoLDA) 모델은 다양한 해상도 수준에서 계층적 주제 구조를 성공적으로 포착했다.
• 모델에서 사후분포 붕괴가 관찰되었지만, 정규화 기반 기법이 이 문제를 크게 완화하여 주제 품질을 향상시켰다.
• 이 방법을 통해 이전에는 계산 비용으로 인해 구현이 어려웠던 10개의 슈퍼디퍼톱릭 주제, 50개의 슈퍼주제, 100개의 서브주제를 포함한 더 큰 PAM 모델의 학습이 가능해졌다.