[논문 리뷰] Neural Variational Inference for Text Processing

Yishu Miao, Lei Yu외 1명|arXiv (Cornell University)|2015. 11. 19.

Topic Modeling인용 수 220

한 줄 요약

이 논문은 텍스트 생성 모델에서 잠재 변수의 사후 분포를 근사하기 위해 추론 네트워크로 깊이 있는 신경망을 사용하는 신경망 변분 추론 프레임워크를 제안한다. 재표현 기법을 적용함으로써, 이 방법은 깊이 있는 잠재 변수 모델의 엔드 투 엔드 훈련을 가능하게 하여 문서 모델링(NVDM)과 질의 응답(NASM)에서 이전 방법보다 낮은 퍼플렉서티와 높은 정확도로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent advances in neural variational inference have spawned a renaissance in deep latent variable models. In this paper we introduce a generic variational inference framework for generative and conditional models of text. While traditional variational methods derive an analytic approximation for the intractable distributions over latent variables, here we construct an inference network conditioned on the discrete text input to provide the variational distribution. We validate this framework on two very different text modelling applications, generative document modelling and supervised question answering. Our neural variational document model combines a continuous stochastic document representation with a bag-of-words generative model and achieves the lowest reported perplexities on two standard test corpora. The neural answer selection model employs a stochastic representation layer within an attention mechanism to extract the semantics between a question and answer pair. On two question answering benchmarks this model exceeds all previous published benchmarks.

연구 동기 및 목표

• 텍스트를 위한 복잡하고 비공액(non-conjugate)인 깊이 있는 잠재 변수 모델에서 베이지안 추론의 비가역성 문제를 해결하기 위해.
• 분석적 변분 근사 대신 신경망을 사용하는 확장성 있고 효율적인 추론 프레임워크를 개발하기 위해.
• 비지도(문서 모델링) 및 지도학습(질의 응답) NLP 과제에서 성능 향상을 위해.
• 스토캐스틱 추론을 통해 문서와 질문-답변 쌍의 연속적이고 분산된 표현을 효과적으로 학습하기 위해.
• 이 프레임워크가 다양한 신경망 아키텍처와 NLP 과제에 걸쳐 일반화 가능한지를 입증하기 위해.

제안 방법

• 프레임워크는 입력 텍스트에 조건이 되는 깊이 있는 신경망(추론 네트워크)을 사용하여 잠재 변수의 진짜 사후 분포를 근사한다.
• 스토캐스틱 잠재 변수를 통해 역전파를 가능하게 하기 위해 재표현 기법을 적용하여, 저분산 추정치를 가진 기반 기반 최적화를 허용한다.
• 생성 모델은 확률적 경사 하강 변분 베이즈(SGVB) 목적함수를 통해 훈련되며, 주변 가능도의 하한을 최대화한다.
• 문서 모델링의 경우, NVDM은 백오브워즈 입력을 잠재 분포로 매핑하기 위해 MLP 인코더를 사용하고, 단어를 재구성하기 위해 소프트맥스 디코더를 사용한다.
• 질의 응답의 경우, NASM은 LSTMs와 함께 스토캐스틱 주의 메커니즘을 통합하며, 주의 가중치는 잠재 정규 분포에서 샘플링된다.
• 모델의 모든 파라미터는 백프로파게이션을 통해 함께 훈련되며, 각 업데이트당 하나의 몬테카를로 샘플만으로도 효율적인 GPU 가속 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 신경망 추론 네트워크는 텍스트 생성 모델에서 복잡하고 비선형적인 사후 분포를 효과적으로 근사할 수 있는가?
• RQ2 잠재 변수에서 재표현된 스토캐스틱성의 사용이 NLP 과제에서 훈련의 안정성과 성능 향상에 기여하는가?
• RQ3 이 프레임워크는 비지도 문서 모델링과 지도학습 질의 응답 과제에서 모두 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 NASM의 스토캐스틱 주의 메커니즘이 결정론적 주의보다 답변 선택에 어떻게 향상되는가?
• RQ5 변분 목적함수에 포함된 KL 발산의 정규화 효과가 작은 데이터셋에서 일반화 성능 향상에 어느 정도 기여하는가?

주요 결과

• NVDM는 20NewsGroups와 RCV1-v2 데이터셋에서 보고된 바 중 가장 낮은 퍼플렉서티를 달성하여 이전 모델보다 문서 모델링에서 뛰어난 성능을 보였다.
• NASM 모델은 두 개의 질의 응답 데이터셋에서 이전에 발표된 모든 벤치마크를 초월하여 답변 선택에서 뛰어난 성능을 보였다.
• 스토캐스틱 주의 메커니즘을 갖춘 모델은 더 뾰족하고 집중된 주의 분포를 학습하여 결정론적 주의 기반 모델보다 더 높은 예측 정확도를 달성했다.
• 재표현 기법과 KL 정규화 덕분에 훈련 과정은 안정적이고 효율적이었으며, 저분산 기울기 추정치를 제공했다.
• 이 프레임워크는 최소한의 아키텍처 제약으로 깊이 있는 잠재 모델의 엔드 투 엔드 훈련을 가능하게 하여 다양한 신경망 유형으로 일반화되었다.
• 추론 네트워크가 복잡한 사후 분포를 모델링할 수 있는 능력 덕분에, 특히 작은 학습 세트에서 일반화 성능 향상이 뚜렷했다.