[논문 리뷰] A Latent Variable Recurrent Neural Network for Discourse Relation Language Models

Yangfeng Ji, Gholamreza Haffari외 1명|arXiv (Cornell University)|2016. 03. 07.

Topic Modeling인용 수 71

한 줄 요약

이 논문은 단어 시퀀스와 인접 문장 간의 논의 관계를 이산 잠재 변수를 사용하여 함께 모델링하는 잠재변수 순환 신경망을 제안한다. 단어 예측과 논의 관계 분류에 동시에 훈련시킴으로써, 펜 니시터리 트리뱅크에서의 암묵적 논의 관계 분류와 스위치보드에서의 대화 액트 분류에서 최신 기술을 초월하는 성능을 보이며, 동시에 잠재 관계에 대한 주변화를 통해 논의를 반영한 언어 모델로도 기능한다.

ABSTRACT

This paper presents a novel latent variable recurrent neural network architecture for jointly modeling sequences of words and (possibly latent) discourse relations between adjacent sentences. A recurrent neural network generates individual words, thus reaping the benefits of discriminatively-trained vector representations. The discourse relations are represented with a latent variable, which can be predicted or marginalized, depending on the task. The resulting model can therefore employ a training objective that includes not only discourse relation classification, but also word prediction. As a result, it outperforms state-of-the-art alternatives for two tasks: implicit discourse relation classification in the Penn Discourse Treebank, and dialog act classification in the Switchboard corpus. Furthermore, by marginalizing over latent discourse relations at test time, we obtain a discourse informed language model, which improves over a strong LSTM baseline.

연구 동기 및 목표

• 단어 시퀀스와 인접 문장 간의 논의 관계를 함께 모델링하는 통합 신경망 아키텍처를 개발하는 것.
• 이전 신경망 모델이 암시된 논의 관계에만 의존하는 한계를 해결하기 위해, 관측되지 않거나 부분적으로 관측된 논의 구조를 위한 잠재 변수를 통합하는 것.
• 훈련 중에 단어 예측과 논의 관계 목표를 모두 활용하여 논의 관계 분류 및 언어 모델링 성능을 향상시키는 것.
• 테스트 시에 잠재 논의 관계에 대한 주변화를 가능하게 하여, 명시적 논의 주석이 필요 없이도 논의를 반영한 언어 모델을 생성하는 것.

제안 방법

• 모델은 이전 단어와 컨텍스트에서 유도된 은닉 상태에 조건부로 단어를 생성하기 위해 순환 신경망(RNN)을 사용한다.
• 인접 문장 간의 논의 관계는 이산 잠재 변수로 모델링되며, 훈련 및 추론 중에 예측되거나 주변화된다.
• 모델은 단어와 논의 관계의 동시 가능도를 최대화하도록 훈련되어, 언어 모델링과 논의 분류 목표 모두에서 이점을 얻을 수 있다.
• 추론 중에 잠재 논의 변수를 합산함으로써, 테스트 시에 명시적 논의 주석이 필요 없이도 논의를 반영한 언어 모델로 작동할 수 있다.
• 구분 기반 훈련된 단어 임베딩과 단어 예측을 위한 조건부 소프트맥스 출력층이 아키텍처에 통합되며, RNN 은닉 상태는 비선형 변환을 통해 업데이트된다.
• 이 프레임워크는 Theano, Torch, CNTK와 같은 표준 딥러닝 툴킷에서 쉽게 구현 가능하며, 표준 RNN에 대한 최소한의 수정만으로도 구현이 가능하다.

실험 결과

연구 질문

• RQ1 논의 관계를 잠재 변수로 간주함으로써, 신경망이 단어 예측과 논의 관계 분류를 함께 학습할 수 있는가?
• RQ2 잠재 변수로 논의 구조를 통합할 경우, 암시된 관계에만 훈련된 모델과 비교해 암묵적 논의 관계 분류 성능이 어떻게 향상되는가?
• RQ3 테스트 시에 잠재 논의 관계에 대한 주변화를 수행할 경우, 논의 구조를 忽시하는 표준 RNN보다 더 나은 언어 모델을 얻을 수 있는가?
• RQ4 단어 예측과 논의 관계 목표를 모두 훈련에 활용할 경우, 논의 관계만으로 훈련된 모델과 비교해 일반화 성능이 얼마나 향상되는가?
• RQ5 이 접근 방식은 부분적으로 레이블이 붙은 데이터에 대해 확장 가능할 수 있으며, 자원이 제한된 또는 대규모 논의 모델링 작업에서 성능 향상에 기여할 수 있는가?

주요 결과

• 모델은 펜 니시터리 트리뱅크에서 암묵적 논의 관계 분류 작업에서 최신 기술을 초월하는 성능을 달성하며, 이는 이전의 신경망 및 특징 기반 접근 방식을 모두 능가한다.
• 또한 스위치보드 코퍼스에서 대화 액트 분류 작업에서도 최신 기술을 달성하여, 다양한 논의 작업에 대한 강력한 일반화 능력을 보여준다.
• 테스트 시에 잠재 논의 관계에 대한 주변화를 수행함으로써, 모델는 낮은 퍼플렉서티를 달성하는 논의를 반영한 언어 모델을 생성하며, 강력한 LSTM 기준 모델을 능가한다.
• 훈련 중에 단어 예측과 논의 관계 감독 모두에서 이점을 얻음으로써, 암시된 논의 관계에만 의존하는 모델보다 더 나은 표현 학습이 가능해진다.
• 이산 잠재 변수의 사용은 연속 잠재 변수 모델에서 복잡한 변분 추론이 필요한 경우와 비교해 훈련 및 추론을 단순화한다.
• 아키텍처는 기존 딥러닝 프레임워크에 쉽게 적용 가능하며, 표준 RNN에 대한 최소한의 수정만으로도 넓은 적용 가능성을 확보한다.