[논문 리뷰] A Tutorial on Deep Latent Variable Models of Natural Language

Yoon Kim, Sam Wiseman외 1명|arXiv (Cornell University)|2018. 12. 17.

Topic Modeling참고 문헌 222인용 수 33

한 줄 요약

이 튜토리얼은 변분 추론을 통해 확률적 그래픽 모델과 딥 러닝을 융합하여 자연어 처리를 위한 딥 레이턴트 변수 모델을 소개한다. 확장 가능한 훈련을 위한 核심 기법으로 암시적 변분 추론과 변분 오토에인코더를 제시하며, 이러한 모델이 구조화되고 해석 가능하며 유연한 언어 생성과 표현 학습을 가능하게 하는 방식을 보여준다.

ABSTRACT

There has been much recent, exciting work on combining the complementary strengths of latent variable models and deep learning. Latent variable modeling makes it easy to explicitly specify model constraints through conditional independence properties, while deep learning makes it possible to parameterize these conditional likelihoods with powerful function approximators. While these "deep latent variable" models provide a rich, flexible framework for modeling many real-world phenomena, difficulties exist: deep parameterizations of conditional likelihoods usually make posterior inference intractable, and latent variable objectives often complicate backpropagation by introducing points of non-differentiability. This tutorial explores these issues in depth through the lens of variational inference.

연구 동기 및 목표

• 확률적 그래픽 모델과 딥 러닝을 연결하여 NLP에서의 딥 레이턴트 변수 모델에 대한 통합적 소개를 제공한다.
• 변분 추론이 추론이 비가역적인 모델에서 확장 가능한 사후 근사에 어떻게 기여하는지 설명한다.
• 효율적인 딥 생성 모델 훈련을 위한 추론 네트워크(암시적 추론)의 사용을 보여준다.
• 텍스트 생성, 표현 학습, 구조적 모델링을 포함한 NLP 분야에서의 딥 레이턴트 변수 모델의 주요 응용을 조사한다.
• 잠재 변수가 신경망 모델에 인덕티브 바이어스를 도입하고 구조적 제약을 강제하는 데 어떻게 기여하는지 강조한다.

제안 방법

• 관측된 텍스트와 잠재 변수 간의 결합 분포를 표현하기 위해 유도 그래픽 모델(DGMs)을 사용한다.
• 잠재 변수에 대한 비가역적인 사후 분포를 변분 분포를 사용하여 근사하기 위해 변분 추론을 적용한다.
• 관측치에서 사후 분포의 매개변수로 매핑하는 딥 네ural 네트워크(추론 네트워크)를 통해 암시적 추론을 구현한다.
• 확률적 경사 하강법을 사용하여 로그 주변 가능도의 하한(ELBO)을 최대화한다.
• 재구성 기반 경사 하강법을 통해 확률적 잠재 변수를 거쳐 백프로파게이션을 가능하게 한다.
• 드롭아웃과 잠재 변수 모델링의 관계를 검토하며, 드롭아웃이 변분 목표를 최적화하는 것으로 해석될 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크와 잠재 변수 모델을 어떻게 융합하여 NLP에서의 해석 가능성과 일반화 성능을 향상시킬 수 있는가?
• RQ2 딥 레이턴트 변수 모델에서 사후 추론을 수행할 때 발생하는 주요 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ3 딥 레이턴트 변수 모델은 어떤 방식으로 트랜스포머와 같은 결정론적 모델보다 특정 NLP 작업에서 슈퍼리어 성능을 내는가?
• RQ4 암시적 변분 추론은 어떻게 딥 생성 모델의 확장 가능한 훈련을 가능하게 하는가?
• RQ5 잠재 변수는 신경망 아키텍처에 인덕티브 바이어스를 도입하고 구조적 제약을 강제하는 데 어떤 역할을 하는가?

주요 결과

• 딥 추론 네트워크를 사용한 암시적 변분 추론은 딥 레이턴트 변수 모델의 효율적이고 확장 가능한 훈련을 가능하게 한다.
• 적절히 최적화된 잠재 변수 어텐션 메커니즘은 순차 모델링에서 결정론적 어텐션을 능가할 수 있다.
• 토큰당 하나의 잠재 변수를 가진 잠재 변수 언어 모델은 언어 모델링 분야에서 최고 성능을 기록한다.
• 높은 로그 가능도 점수를 기록하는 모델이라도 고급도의 샘플을 생성하지는 않으며, 이는 가능도와 생성 품질 사이에 괴리가 있음을 시사한다.
• 드롭아웃을 잠재 변수 목표로 해석한 결과, 딥 네트워크에서 불확실성 추정과 일반화 성능 향상에 기여하였다.
• 잠재 변수 모델은 유효한 파싱 트리나 분리된 표현과 같이 순수하게 분류 기반 모델에서 강제하기 어려운 인덕티브 바이어스와 구조적 제약을 명시적으로 모델링할 수 있다.