[논문 리뷰] Mem2Seq: Effectively Incorporating Knowledge Bases into End-to-End Task-Oriented Dialog Systems

Andrea Madotto, Chien-Sheng Wu외 1명|ArXiv.org|2018. 04. 22.

Topic Modeling인용 수 6

한 줄 요약

Mem2Seq는 메모리에 대한 다단계 주의 메커니즘과 포인터 네트워크 기반의 메커니즘을 결합하여 외부 지식 기반을 작업 중심 대화 시스템에 통합하는 새로운 엔드 투 엔드 미분 가능한 모델이다. 동적 쿼리 생성을 통해 더 빠른 훈련과 해석 가능한 메모리 접근을 가능하게 하면서도, 세 가지 벤치마크 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

End-to-end task-oriented dialog systems usually suffer from the challenge of incorporating knowledge bases. In this paper, we propose a novel yet simple end-to-end differentiable model called memory-to-sequence (Mem2Seq) to address this issue. Mem2Seq is the first neural generative model that combines the multi-hop attention over memories with the idea of pointer network. We empirically show how Mem2Seq controls each generation step, and how its multi-hop attention mechanism helps in learning correlations between memories. In addition, our model is quite general without complicated task-specific designs. As a result, we show that Mem2Seq can be trained faster and attain the state-of-the-art performance on three different task-oriented dialog datasets.

연구 동기 및 목표

• 외부 지식 기반을 엔드 투 엔드 작업 중심 대화 시스템에 효과적으로 통합하는 데 도전하는 것.
• 기존 Seq2Seq 및 MemNN 모델이 지식 기반 정보와 장거리 의존성 처리에 한계를 보이는 문제를 해결하는 것.
• 작업에 특화된 설계 없이도 동적 메모리 접근과 엔티티 복사 기능을 지원하는 일반화 가능한, 미분 가능한 아키텍처를 개발하는 것.
• 메모리 히든 상태를 통해 다단계 주의 동역학을 시각화하고 모델의 투명성 향상을 도모하는 것.
• 다양한 대화 도메인에서 뛰어난 일반화 능력과 더불어 더 빠른 훈련 속도를 유지하면서 최고 성능을 달성하는 것.

제안 방법

• Mem2Seq는 두 부분으로 구성된 아키텍처를 사용한다: 대화 이력과 지식 기반 항목을 메모리 벡터로 인코딩하는 MemNN 인코더와, 단계적으로 응답을 생성하는 메모리 디코더.
• 다단계 주의 메커니즘을 사용하여 여러 단계에 걸쳐 관련된 지식 기반 튜플과 대화 이력 토큰을 반복적으로 쿼리하고 주의를 기울인다.
• 지식 기반 또는 대화 이력에서 직접 엔티티를 복사할 수 있도록 포인터 네트워크 메커니즘을 통합하여 희귀 또는 OOV 토큰에 대한 정확도를 향상시킨다.
• 훈련 중에 학습되는 동적 쿼리 벡터를 사용하여 메모리 접근을 제어함으로써 메모리 콘텐츠에 대한 적응형 주의를 가능하게 한다.
• 지식 기반과 대화 이력의 연결된 메모리 전체에 대한 글로벌 주의와 소프트 포인터 메커니즘을 조합하여 어휘 생성과 복사 동작 간의 균형을 맞춘다.
• 모델은 완전히 미분 가능하여 표준 순차적-순차적 목표 함수를 사용한 엔드 투 엔드 훈련이 가능하며, 주의 및 복사 라우팅 기능을 포함한다.

실험 결과

연구 질문

• RQ1 작업에 특화된 설계 없이도 통합형 엔드 투 엔드 모델이 외부 지식 기반을 효과적으로 작업 중심 대화 생성에 통합할 수 있는가?
• RQ2 메모리에 대한 다단계 주의 메커니즘이 지식 기반 항목과 대화 이력 간의 추론 능력을 어떻게 향상시키는가?
• RQ3 포인터 네트워크 메커니즘이 응답 생성에서 엔티티 정확도를 향상시키고 OOV 오류를 줄이는 데 어느 정도 기여하는가?
• RQ4 기존 접근 방식과 비교해 더 빠른 훈련 속도를 유지하면서도 최고 성능을 달성할 수 있는가?
• RQ5 학습된 쿼리 벡터와 단계 간 주의 동역학은 모델의 해석 가능성과 성능에 어떻게 기여하는가?

주요 결과

• Mem2Seq는 세 가지 다른 작업 중심 대화 데이터셋에서 기존 Seq2Seq 및 MemNN 기반 모델을 능가하는 최고 성능을 기록한다.
• 기존 엔드 투 엔드 모델 대비 더 빠른 훈련 수렴 속도를 보이며, 이는 다단계 주의를 통한 효율적인 메모리 접근 덕분으로 여겨진다.
• 시각화 결과 다단계 주의 메커니즘이 지식 기반 항목과 대화 컨텍스트 간의 상관관계를 효과적으로 학습함으로써 다중 사실에 걸친 추론을 가능하게 한다.
• 포인터 네트워크 메커니즘의 통합으로 엔티티 F1 스코어가 크게 향상되어 실제 엔티티와의 일치도가 높아짐을 시사한다.
• 지식 기반 또는 대화 이력에서 직접 복사함으로써 희귀 또는 OOV 엔티티가 포함된 경우에도 높은 응답 관련성을 유지한다.
• 이 작업 중심 설정에서 BLEU 점수는 인간 평가와 잘 상관관계를 보이며, F1과 같은 엔티티 수준 메트릭과 함께 사용할 경우 유효한 메트릭으로서의 타당성을 지닌다.