[논문 리뷰] Multiresolution Recurrent Neural Networks: An Application to Dialogue Response Generation

Iulian Vlad Serban, Tim Klinger외 5명|arXiv (Cornell University)|2016. 06. 02.

Topic Modeling인용 수 73

한 줄 요약

이 논문은 다이얼로그 응답 생성을 두 가지 병렬 확률적 과정인 고수준의 군집 토큰과 자연어 토큰을 통해 모델링하는 새로운 시퀀스-투-시퀀스 프레임워크인 멀티레졸루션 순환 신경망(MrRNNs)을 제안한다. 양쪽 시퀀스의 로그우도를 동시에 최대화함으로써 모델은 장기적 논의 구조와 고수준의 추상화를 포착하며, 우버노 기술 지원 및 트위터 대화 데이터셋에서 최신 기술 수준의 성능을 달성한다. 자동 평가 지표와 인간 평가를 통해 검증된 결과, 관련성과 일관성 측면에서 뚜렷한 향상이 이루어졌다.

ABSTRACT

We introduce the multiresolution recurrent neural network, which extends the sequence-to-sequence framework to model natural language generation as two parallel discrete stochastic processes: a sequence of high-level coarse tokens, and a sequence of natural language tokens. There are many ways to estimate or learn the high-level coarse tokens, but we argue that a simple extraction procedure is sufficient to capture a wealth of high-level discourse semantics. Such procedure allows training the multiresolution recurrent neural network by maximizing the exact joint log-likelihood over both sequences. In contrast to the standard log- likelihood objective w.r.t. natural language tokens (word perplexity), optimizing the joint log-likelihood biases the model towards modeling high-level abstractions. We apply the proposed model to the task of dialogue response generation in two challenging domains: the Ubuntu technical support domain, and Twitter conversations. On Ubuntu, the model outperforms competing approaches by a substantial margin, achieving state-of-the-art results according to both automatic evaluation metrics and a human evaluation study. On Twitter, the model appears to generate more relevant and on-topic responses according to automatic evaluation metrics. Finally, our experiments demonstrate that the proposed model is more adept at overcoming the sparsity of natural language and is better able to capture long-term structure.

연구 동기 및 목표

• 엔드 투 엔드 신경망 모델이 대화 생성에서 고수준의 논의 추상화를 포착하지 못하는 데서 기인하는 실패를 해결하기 위해.
• 오픈 도메인 및 목표 지향 대화 시스템에서 장기적 의존성 모델링을 향상시키고 응답의 흐릿함을 줄이기 위해.
• 표준 시퀀스-투-시퀀스 프레임워크를 개선하기 위해 계층적이고 다중 해상도의 생성 과정을 도입하고, 군집화된 시퀀스와 세밀한 시퀀스를 함께 학습하는 방식을 도입하기 위해.
• 양쪽 고수준 및 자연어 시퀀스에 대한 공동 최적화가 표준 단어 수준의 로그우도 학습보다 더 나은 응답 품질을 이끌어낼 수 있음을 입증하기 위해.
• 기술 지원(우버노)과 소셜 미디어(트위터)라는 두 어려운 영역에서 모델의 효과성을 검증하기 위해.

제안 방법

• MrRNN 아키텍처는 두 개의 병렬 시퀀스를 모델링한다: 고수준의 군집 토큰 시퀀스와 자연어 토큰 시퀀스이며, 양쪽 시퀀스에 대한 공동 확률을 인수로 삼는다.
• 고수준 토큰은 간단하고 학습되지 않은 절차(예: 의도 또는 주제 추출)를 통해 추출되며, 학습 중 복잡한 추론을 피한다.
• 모델은 양쪽 시퀀스의 정확한 공동 로그우도를 최대화함으로써 학습되며, 이는 고수준 논의 의미를 포착하도록 학습을 유도한다.
• 추론 시, 모델은 먼저 군집 토큰 시퀀스를 생성한 후, 맥락과 군집 토큰을 모두 조건으로 삼아 자동으로 응답을 생성한다.
• 아키텍처는 공유된 단어 임베딩과 출력 투영을 사용하는 표준 RNN(LSTM 또는 GRU)을 사용하며, 군집 시퀀스는 고수준 제어 신호로 작용한다.
• 공동 학습 목표는 군집된 의미적 내용과 표면 수준의 응답 생성 간의 정렬을 명시적으로 장려하여 일관성과 주제 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고수준 추상화와 자연어 토큰에 대한 공동 프로세스로 대화 응답 생성을 모델링할 경우, 응답 품질과 일관성이 향상되는가?
• RQ2 군집화된 시퀀스와 자연어 시퀀스에 대한 공동 로그우도 최적화가 표준 단어 수준의 퍼즐리티 최적화보다 더 나은 장기적 의존성 모델링을 이끌어내는가?
• RQ3 군집 토큰을 위한 단순하고 학습되지 않은 추출 방법조차도 대화 생성에서 뚜렷한 성능 향상을 이끌 수 있는가?
• RQ4 자동 평가 지표와 인간 평가 지표 측면에서 MrRNN 모델은 HRED, VHRED, 표준 RNN과 같은 강력한 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 저자원 또는 장기 맥락 대화 환경에서 특히, 모델이 자연어 생성의 흐릿함 문제를 얼마나 효과적으로 해결하는가?

주요 결과

• 우버노 기술 지원 데이터셋에서 MrRNN 모델은 자동 평가 지표와 인간 평가 모두에서 모든 경쟁 모델을 능가하는 최신 기술 수준의 성능을 달성했다.
• 트위터 대화 데이터셋에서 자동 평가 지표로 측정한 결과, 모델은 응답의 관련성과 주제 일관성을 뚜렷이 향상시켰다.
• 우버노에서의 인간 평가 결과, MrRNN이 생성한 응답은 HRED, VHRED 및 표준 LSTM 모델의 응답보다 더 관련성 있고 맥락에 부합하는 것으로 평가되었다.
• 공동 로그우도 목표는 모델이 고수준 논의 구조를 학습하도록 유도하여, 비논리적이거나 주제에서 벗어난 응답의 생성을 줄였다.
• 특히 복잡한 다중 전환 대화에서 장기적 의존성을 포착하고 응답의 흐릿함을 완화하는 데 뛰어난 능력을 보였다.
• 제거 실험 결과, 군집 토큰 시퀀스가 성능에 핵심적임을 확인하였으며, 이를 제거할 경우 자동 평가 지표와 인간 평가 점수 모두가 뚜렷이 하락하였다.