[논문 리뷰] Convolutional Poisson Gamma Belief Network

Chaojie Wang, Bo Chen외 2명|arXiv (Cornell University)|2019. 05. 14.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 순서를 유지하고 계층적인 어휘 수준 주제를 학습하기 위해 원핫 단어 벡터에 컨볼루션 연산을 적용하는 딥 생성 모델인 컨볼루션 포아송 감마 신뢰 네트워크(CPGBN)를 제안한다. 새로운 확률적 풀링 레이어를 통해 컨볼루션 포아송 요인 분석와 감마 신뢰 네트워크를 통합함으로써, CPGBN는 텍스트 분류에서 최신 기술 수준의 성능을 달성하면서도 기각 가능한, 순서를 고려한 잠재 표현을 제공한다. 이는 게비스 샘플링과 웨이불 기반 변분 오토인코더를 통해 이루어진다.

ABSTRACT

For text analysis, one often resorts to a lossy representation that either completely ignores word order or embeds each word as a low-dimensional dense feature vector. In this paper, we propose convolutional Poisson factor analysis (CPFA) that directly operates on a lossless representation that processes the words in each document as a sequence of high-dimensional one-hot vectors. To boost its performance, we further propose the convolutional Poisson gamma belief network (CPGBN) that couples CPFA with the gamma belief network via a novel probabilistic pooling layer. CPFA forms words into phrases and captures very specific phrase-level topics, and CPGBN further builds a hierarchy of increasingly more general phrase-level topics. For efficient inference, we develop both a Gibbs sampler and a Weibull distribution based convolutional variational auto-encoder. Experimental results demonstrate that CPGBN can extract high-quality text latent representations that capture the word order information, and hence can be leveraged as a building block to enrich a wide variety of existing latent variable models that ignore word order.

연구 동기 및 목표

• 기존 주제 모델이 단어 순서를 忽시하는 한계를 해결하기 위해 텍스트의 전체 순차적 구조를 유지한다.
• 원핫 단어 표현에 컨볼루션 연산을 적용하여 어휘 수준의 의미를 포착하는 딥이고 계층적인 생성 모델을 개발한다.
• 다중 스토케스틱 레이어 잠재 변수의 공동 학습을 위해 상향-하향 게비스 샘플러를 사용하여 추론 효율성을 향상시킨다.
• 소규모 배치 스토케스틱 기울기 MCMC와 웨이불 기반 변분 오토인코더를 통해 대규모 코퍼스에 대한 확장 가능한 추론을 제공한다.
• 생성적 표현 학습과 분류적 딥 신경망을 통합한 통합 확률적 프레임워크 내에서, CPGBN을 지도 학습 설정(sCPGBN)으로 확장한다.

제안 방법

• 문서를 원핫 벡터의 시퀀스로 모델링하고, 어휘 수준 패턴을 탐지하기 위해 컨볼루션 필터를 적용하기 위해 컨볼루션 포아송 요인 분석(CPFA)을 제안한다.
• CPFA와 감마 신뢰 네트워크(GBN)를 결합하기 위해 새로운 확률적 문서 수준 풀링 레이어를 도입함으로써, 다중 스토케스틱 레이어를 통해 계층적 주제 학습을 가능하게 한다.
• 모든 레이어의 공동 학습을 위해 상향-하향 게비스 샘플러를 개발하여 GPU에서 효율적이고 전형적인 병렬 계산이 가능하도록 한다.
• 대규모 데이터셋에서의 학습과 테스트 속도를 높이기 위해 웨이불 분포 기반의 컨볼루션 변분 오토인코더(VAE)를 제안한다.
• CPGBN의 깊은 잠재 표현과 분류적 신경망을 통합한 유일한 확률적 프레임워크 내에서, sCPGBN이라는 지도 학습 확장 모델을 구성한다.
• 하위 레이어는 특정 어휘를 탐지하고, 상위 레이어는 풀링과 스토케스틱 깊이를 통해 점점 더 추상적이고 일반적인 주제를 학습하는 계층적 생성 과정을 구현한다.

실험 결과

연구 질문

• RQ1 원핫 단어 벡터에 직접 작용하는 딥 생성 모델이 단어 순서를 유지하고, 후속 NLP 작업을 위한 표현 품질을 향상시킬 수 있는가?
• RQ2 희박하고 고차원적인 원핫 단어 시퀀스에 효과적으로 컨볼루션 연산을 적용하여 의미 있는 어휘 수준 패턴을 탐지할 수 있는가?
• RQ3 확률적 풀링 메커니즘이 컨볼루션 요인 분석 모델과 감마 신뢰 네트워크와 같은 다중 스토케스틱 레이어 딥 생성 모델을 성공적으로 결합할 수 있는가?
• RQ4 제안된 CPGBN 모델이 기존의 백오브워즈, 워드 임베딩, 또는 CNN 기반 모델보다 텍스트 분류에서 더 높은 성능을 달성하면서도 해석 가능성을 유지하는가?
• RQ5 CPGBN의 스토케스틱 숨겨진 레이어 수를 늘릴수록 장문이고 복잡한 텍스트에서 표현 품질과 일반화 능력이 얼마나 향상되는가?

주요 결과

• sCPGBN는 세 개의 스토케스틱 레이어를 사용하여 IMDB 데이터셋에서 93.8%의 정확도를 기록하여, CNN-non-static(93.4%)과 SVM-wv(90.1%)를 포함한 모든 베이스라인 모델을 압도한다.
• 세 레이어로 구성된 모델은 ELEC 데이터셋에서 93.7%의 정확도를 기록했고, IMDB에서는 92.6%를 기록하여 백오브워즈 및 워드 임베딩 베이스라인 모두를 일관되게 능가한다.
• sCPGBN의 성능은 깊이가 증가함에 따라 향상되며, 더 깊은 계층적 표현이 더 복잡한 의미적 구조를 포착함을 보여준다.
• 웨이불 기반 변분 오토인코더는 빠른 암시적 추론을 가능하게 하여, 표준 MCMC 방법에 비해 대규모 코퍼스에서의 학습과 테스트 속도를 크게 향상시킨다.
• CPGBN는 'I like it' 또는 'don’t hate'와 같이 의미적으로 유의미하고 단어 순서를 유지하는 매우 해석 가능한 어휘 수준 주제를 학습한다.
• CNN-one-hot에 비해 장문의 텍스트에서 과적합을 줄이며, 깊이 있는 계층적 생성 모델링이 고차원 통계를 효과적으로 포착함을 시사한다.