[논문 리뷰] Evaluating Prerequisite Qualities for Learning End-to-End Dialog Systems

Jesse Dodge, Andreea Gane외 6명|arXiv (Cornell University)|2015. 11. 21.

Topic Modeling참고 문헌 28인용 수 61

한 줄 요약

이 논문은 영화 도메인에서 엔드 투 엔드 대화 시스템을 평가하기 위한 대규모 다중 작업 벤치마크를 소개한다. 이 벤치마크는 질문-답변, 추천, 혼합 QA+추천, 그리고 경청 대화(task)를 포함한다. 메모리 네트워크는 모든 작업에서 뛰어난 성능를 보이며, 기준 모델들을 능가하고 우분투 대화 코퍼스에 대해서도 잘 일반화됨을 보여주며, 통합 프레임워크 내에서 다양한 대화 기술을 처리할 수 있는 능력을 입증한다.

ABSTRACT

A long-term goal of machine learning is to build intelligent conversational agents. One recent popular approach is to train end-to-end models on a large amount of real dialog transcripts between humans (Sordoni et al., 2015; Vinyals & Le, 2015; Shang et al., 2015). However, this approach leaves many questions unanswered as an understanding of the precise successes and shortcomings of each model is hard to assess. A contrasting recent proposal are the bAbI tasks (Weston et al., 2015b) which are synthetic data that measure the ability of learning machines at various reasoning tasks over toy language. Unfortunately, those tests are very small and hence may encourage methods that do not scale. In this work, we propose a suite of new tasks of a much larger scale that attempt to bridge the gap between the two regimes. Choosing the domain of movies, we provide tasks that test the ability of models to answer factual questions (utilizing OMDB), provide personalization (utilizing MovieLens), carry short conversations about the two, and finally to perform on natural dialogs from Reddit. We provide a dataset covering 75k movie entities and with 3.5M training examples. We present results of various models on these tasks, and evaluate their performance.

연구 동기 및 목표

• 자동 평가 지표나 인간 평가에 의존하는 엔드 투 엔드 대화 시스템에 대한 표준화된 목표 지향 평가의 부족을 해결하기 위해.
• 작은 규모의 합성 작업(예: bAbI)과 실제 대화 데이터 사이의 격차를 메우기 위해 대규모이고 현실적이면서도 명확하게 정의된 작업을 만들기 위해.
• 특정 작업에 맞게 설계하지 않고도 사실 기반 질문-답변, 개인화된 추천, 혼합 대화, 경청 대화 등의 다양한 대화 기술을 동시에 습득할 수 있는 단일 엔드 투 엔드 모델의 가능성을 평가하기 위해.
• 다른 도메인의 관련 없는 대화 코퍼스(우부투 대화 코퍼스)에서의 성능 테스트를 통해 모델의 일반화 능력을 검증하기 위해.

제안 방법

• 약 75,000개의 영화 엔티티와 약 350만 개의 훈련 예제를 포함하는 다중 작업 데이터셋을 구축하여, 질문-답변, 추천, 질문-답변+추천, 경청 대화의 네 가지 다른 대화 작업을 커버한다.
• 실제 세계 지식 소스를 사용한다: 사실 기반 질문-답변에는 OMDb, 개인화된 추천에는 MovieLens, 자연스러운 대화에는 Reddit을 활용한다.
• 모든 작업에서 다양한 신경망 아키텍처(예: 지도 학습 임bedding 모델, LSTMs, 메모리 네트워크(MemN2N))를 훈련 및 평가한다.
• 성능이 가장 뛰어난 모델(MemN2N)을 우부투 대화 코퍼스에 적용하여 도메인 간 검증을 수행하며, Hits@1 기반의 검색 기반 평가를 사용한다.
• 모든 작업에서 동일한 아키텍처(MemN2N)를 사용하여 제로샷 일반화 및 다중 작업 학습 능력을 평가한다.
• 모델 평가에 자동 평가 지표(예: Hits@1)를 사용하여 인간 평가자 참여를 피함으로써 확장성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 특정 작업에 맞게 설계하지 않고도, 사실 기반 질문-답변, 개인화된 추천, 혼합 대화, 경청 대화 등의 다양한 대화 작업에서 뛰어난 성능를 보일 수 있는 단일 엔드 투 엔드 모델이 존재하는가?
• RQ2 다양한 신경망 아키텍처(예: LSTMs, 메모리 네트워크)가 통합 프레임워크 내에서 다양한 대화 기술에서 성능를 어떻게 비교하는가?
• RQ3 모든 네 가지 작업에서 다중 작업 학습을 수행할 경우, 개별 작업에서의 학습보다 성능이 향상되거나 악화되는가?
• RQ4 영화 도메인에서 학습한 모델이 기술 지원 대화(우부투 코퍼스)와 같은 다른 도메인으로 일반화될 수 있는가?
• RQ5 메모리 네트워크가 장기적·단기적 기억을 유지하는 데서 표준 RNN 및 LSTM보다 얼마나 뛰어나게 성능를 보이는가?

주요 결과

• 메모리 네트워크는 네 가지 작업 전반에서 뛰어난 성능를 보이며, 표준 기준 모델들을 능가하고 작업 다양성에 대한 강건성을 보여준다.
• 우부투 대화 코퍼스에서 3홉 메모리 메모리 네트워크(MemN2N)는 테스트 세트에서 Hits@1이 64.31%를 기록하여, 이전에 보고된 최고의 기준 모델보다 8% 이상 뛰어나다.
• 2홉 및 3홉 메모리 네트워크 모델은 1홉 버전보다 성능가 뛰어나며, 3홉에서 성능가 최고에 도달하고 4홉에서는 약간 감소한다.
• 대규모 단어 임베딩(최대 2000D)을 사용하더라도, 표준 RNN 및 LSTM 모델은 메모리 네트워크에 비해 성능가 열등하며, 이는 장기적·단기적 기억에 대한 어텐션을 활용하는 메모리 네트워크의 능력 때문임.
• 네 가지 작업 전반에서의 다중 작업 학습은 성능 향상보다는 성능 저하를 초래하며, 이는 이 설정에서는 공동 학습이 아직 최적화되지 않았음을 시사한다.
• 성능가 가장 뛰어난 모델(MemN2N)은 다른 도메인(우부투)으로도 잘 일반화되며, 이는 일반 목적의 대화 아키텍처로서의 잠재력을 확인한다.