[논문 리뷰] A Simple Language Model for Task-Oriented Dialogue

Ehsan Hosseini-Asl, Bryan McCann외 3명|arXiv (Cornell University)|2020. 05. 02.

Topic Modeling참고 문헌 62인용 수 159

한 줄 요약

SimpleTOD는 단일 인과 언어 모델을 사용하여 모든 태스크 지향 대화의 서브 태스크를 엔드투엔드로 처리하고, 대화 상태 추적 및 엔드투엔드 지표에서 MultiWOZ에 대한 최첨단 성능을 달성한다.

ABSTRACT

Task-oriented dialogue is often decomposed into three tasks: understanding user input, deciding actions, and generating a response. While such decomposition might suggest a dedicated model for each sub-task, we find a simple, unified approach leads to state-of-the-art performance on the MultiWOZ dataset. SimpleTOD is a simple approach to task-oriented dialogue that uses a single, causal language model trained on all sub-tasks recast as a single sequence prediction problem. This allows SimpleTOD to fully leverage transfer learning from pre-trained, open domain, causal language models such as GPT-2. SimpleTOD improves over the prior state-of-the-art in joint goal accuracy for dialogue state tracking, and our analysis reveals robustness to noisy annotations in this setting. SimpleTOD also improves the main metrics used to evaluate action decisions and response generation in an end-to-end setting: inform rate by 8.1 points, success rate by 9.7 points, and combined score by 7.2 points.

연구 동기 및 목표

• 태스크 지향 대화를 단일 시퀀스 예측 문제로 재구성한다.
• TOD를 위해 사전 학습된 오픈 도메인 인과 언어 모델(예: GPT-2)을 활용한다.
• 서브 태스크 간의 오차 전파를 줄이기 위해 단일 모델을 엔드투엔드로 학습한다.
• 노이즈가 있는 주석에 대한 강인성을 입증하고 재현을 위한 코드/데이터를 제공한다.
• TOD 성능에 대한 토큰 디자인과 사전 학습 효과 분석을 제공한다.

제안 방법

• 단일 Transformer 기반 인과 언어 모델을 연결된 TOD 시퀀스 x^t = [C_t; B_t; D_t; A_t; S_t]에 대해 학습한다.
• 대화 맥락, 믿음 상태, 데이터베이스 결과, 행동, 비의미화된 응답을 하나의 생성 작업으로 표현한다.
• 사전 학습된 가중치(DistilGPT2/GPT-2)에서 초기화하고, 사전 학습된 BPE로 토크나이즈하며 1024 토큰을 초과하는 시퀀스는 잘라낸다.
• 사용자/시스템 구간을 구분하는 특수 토큰과 생성 가이드를 위한 세그먼트 종료 마커를 활용한다.
• MultiWOZ 2.0/2.1에서 엔드투엔드 설정으로 평가하고, joint DST 정확도와 엔드투엔드 지표(Inform, Success, BLEU, Combined)를 보고한다.
• 최소한의 감독으로 단일 방향 디코더가 이전의 모듈식/상태 추적 모델을 능가할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 태스크 지향 대화를 모듈식 파이프라인이 아니라 단일 인과 언어 모델로 효과적으로 해결할 수 있는가?
• RQ2 사전 학습 및 토큰 세분화 선택이 MultiWOZ에서의 엔드투엔드 TOD 성능에 어떠한 영향을 미치는가?
• RQ3 학습 및 추론 중 데이터베이스 검색 결과를 포함하거나 제외하는 것이 어떤 영향을 미치는가?
• RQ4 실제 데이터세트에서 노이즈가 있는 주석에 대해 엔드투엔드 TOD의 강건성은 어느 정도인가?

주요 결과

모델	디코더	맥락 인코더	추가 감독	공동 정확도
TRADE ∗	Generative + Classifier	Bidirectional	-	45.6
DSTQA ∗∗	Classifier	Bidirectional	knowledge graph	51.17
DST-Picklist ∗	Classifier	Bidirectional	-	53.3
SST ∗	Generative	Bidirectional	schema graph	55.23
TripPy †	Classifier	Bidirectional	action decision	55.3
SimpleTOD o	Generative	Unidirectional	-	55.72
SimpleTOD ∗	Generative	Unidirectional	-	55.76
SimpleTOD +	Generative	Unidirectional	-	57.47

• SimpleTOD는 MultiWOZ 2.1에서 대화 상태 추적을 위한 최첨단 공동 목표 정확도(joint goal accuracy)를 달성한다(테스트 정리 없이 55.76; 정리 후 57.47).
• 엔드투엔드 평가에서 SimpleTOD는 정보도율(Inform), 성공도(Success), 결합 점수에서 이전 연구를 능가한다(예: inform 84.4, success 70.1, BLEU 15.01, combined 92.26, DB 입력 없음).
• 오라클 DB 검색 또는 동적 DB 검색을 사용하는 경우 각 지표별 점수는 더 높아질 수 있지만, 최상의 엔드투엔드 성능은 DB 검색 안내 없이 발생한다.
• 엔드투엔드의 단일 모델 TOD는 추가 감독 없이도 특화된 다중 구성요소 베이스라인을 능가할 수 있다.
• 구성요소 제거 실험은 문단 끝 토큰과 사전학습의 중요성을 보여주고; 더 큰 SimpleTOD 모델이 MultiWOZ 엔드투엔드 성능에 항상 더 나은 것은 아니다.