[논문 리뷰] Sequence-to-Sequence Learning for Task-oriented Dialogue with Dialogue State Representation

Haoyang Wen, Yijia Liu외 3명|arXiv (Cornell University)|2018. 06. 12.

Topic Modeling참고 문헌 29인용 수 36

한 줄 요약

이 논문은 작업 지향 대화를 위한 새로운 시퀀스-투-시퀀스 프레임워크를 제안하며, 분포 표현으로 암묵적으로 대화 상태를 모델링하고, 어텐션 기반 소프트 검색을 통해 지식 기반 항목을 검색한다. 수동으로 애너테이션된 상태를 필요로 하지 않고, 상태 추적과 응답 생성을 동시에 끝에서 끝까지 훈련함으로써, 스탠포드 다중턴 다중도메인 작업 지향 대화 데이터셋을 사용한 자동 평가 및 인간 평가에서 기존 Seq2Seq 모델보다 뚜렷이 뛰어난 성능을 달성한다.

ABSTRACT

Classic pipeline models for task-oriented dialogue system require explicit modeling the dialogue states and hand-crafted action spaces to query a domain-specific knowledge base. Conversely, sequence-to-sequence models learn to map dialogue history to the response in current turn without explicit knowledge base querying. In this work, we propose a novel framework that leverages the advantages of classic pipeline and sequence-to-sequence models. Our framework models a dialogue state as a fixed-size distributed representation and use this representation to query a knowledge base via an attention mechanism. Experiment on Stanford Multi-turn Multi-domain Task-oriented Dialogue Dataset shows that our framework significantly outperforms other sequence-to-sequence based baseline models on both automatic and human evaluation.

연구 동기 및 목표

• 순수한 Seq2Seq 모델이 지식 기반 정보를 명시적으로 검색하는 데에 한계가 있음을 해결하기 위해.
• 기존 파이프라인 모델에서 수작업으로 만든 액션 공간과 도메인 특화 애너테이션의 필요성을 제거하기 위해.
• 대화 상태 애너테이션을 요구하지 않고도 대화 상태 추적과 응답 생성을 끝에서 끝까지 훈련할 수 있도록 하기 위해.
• 가능한 한 유연하고 기계적으로 학습 가능한 어텐션 기반 KB 검색 메커니즘을 통해 대화 응답의 엔티티 검색 정확도를 향상시키기 위해.
• 시퀀스-투-시퀀스 학습과 전통적인 파이프라인 아키텍처의 장점을 융합하여 더 나은 작업 지향 대화 성능를 달성하기 위해.

제안 방법

• 명시적인 슬롯 추적 대신 어텐션 기반 네트워크를 사용하여 고정 크기의 분포 표현으로 대화 상태를 모델링한다.
• 어텐션 기반 메커니즘을 사용하여 지식 기반에서 항목 수준의 소프트 검색을 수행함으로써, 미분 가능하고 끝에서 끝까지 훈련 가능한 방식을 가능하게 한다.
• 대화 상태 표현과 지식 기반 임베딩을 융합하여 메모리 행렬을 구성함으로써 공동의 맥락 모델링을 구현한다.
• 디코딩 중에 이중 어텐션 메커니즘을 적용한다: 하나는 메모리 행렬에 대해, 다른 하나는 입력 시퀀스에 대해.
• 지식 기반의 엔티티를 직접 복사하여 생성된 응답에 삽입할 수 있는 복사 메커니즘을 통합한다.
• 대화 기록만을 사용하여 전체 모델을 끝에서 끝까지 훈련함으로써, 대화 상태 레이블의 애너테이션 필요성을 제거한다.

실험 결과

연구 질문

• RQ1 명시적인 액션 공간이나 수작업으로 만든 쿼리 없이도 시퀀스-투-시퀀스 모델이 지식 기반 항목을 효과적으로 검색할 수 있는가?
• RQ2 어텐션 기반 대화 상태 표현이 전통적인 슬롯 기반 상태 추적을 대체할 수 있으며 성능을 유지할 수 있는가?
• RQ3 상태 추적과 응답 생성을 동시에 끝에서 끝까지 훈련하는 것이 별도의 모듈 훈련 방식보다 대화 품질을 향상시킬 수 있는가?
• RQ4 소프트 어텐션 기반 KB 검색이 대화 시스템에서 하드 코딩된 또는 템플릿 기반 검색 방식을 능가할 수 있는가?
• RQ5 복사 메커니즘의 통합이 생성된 응답에서 엔티티 정확도를 어떻게 향상시키는가?

주요 결과

• 제안된 프레임워크는 BLEU 및 ROUGE와 같은 자동 평가 지표에서 기존 Seq2Seq 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 인간 평가를 통해 모델이 생성한 응답은 기존 모델 대비 더 정확하고 자연스럽고 맥락에 부합하는 것으로 확인되었다.
• 사례 연구를 통해 모델이 주소나 POI 유형과 같은 지식 기반 항목을 정확히 검색하고 응답에 통합하는 데 성공했다.
• 어텐션 기반 대화 상태 표현이 애너테이션된 상태 레이블이 없더라도 관련 슬롯 정보를 효과적으로 포착할 수 있었다.
• 소프트 KB 검색 메커니즘이 엔티티 검색 정확도를 유지하면서도, 기계적으로 학습 가능한 끝에서 끝까지 훈련을 가능하게 했다.
• 대화 상태 애너테이션을 요구하지 않음에도 불구하고, 스탠포드 다중턴 다중도메인 작업 지향 대화 데이터셋에서 최고 성능을 달성했다.