[논문 리뷰] UBAR: Towards Fully End-to-End Task-Oriented Dialog Systems with GPT-2

Yunyi Yang, Yunhao Li외 1명|arXiv (Cornell University)|2020. 12. 07.

Topic Modeling참고 문헌 40인용 수 32

한 줄 요약

UBAR는 전체 대화 세션(사용자, 신념 상태, DB 결과, 시스템 행위, 응답)에 대해 GPT-2를 미세조정하여 완전한 엔드-투-엔드 TOD 시스템을 구축하고 MultiWOZ에서 생성, 정책 최적화, 엔드-투-엔드 모델링 영역에서 최첨단 성과를 달성합니다. 현실 사용을 반영하기 위해 생성된 맥락으로 평가하며, 데이터가 제한된 새로운 도메인으로의 강한 이전 능력을 보여줍니다.

ABSTRACT

This paper presents our task-oriented dialog system UBAR which models task-oriented dialogs on a dialog session level. Specifically, UBAR is acquired by fine-tuning the large pre-trained unidirectional language model GPT-2 on the sequence of the entire dialog session which is composed of user utterance, belief state, database result, system act, and system response of every dialog turn. Additionally, UBAR is evaluated in a more realistic setting, where its dialog context has access to user utterances and all content it generated such as belief states, system acts, and system responses. Experimental results on the MultiWOZ datasets show that UBAR achieves state-of-the-art performances in multiple settings, improving the combined score of response generation, policy optimization, and end-to-end modeling by 4.7, 3.5, and 9.4 points respectively. Thorough analyses demonstrate that the session-level training sequence formulation and the generated dialog context are essential for UBAR to operate as a fully end-to-end task-oriented dialog system in real life. We also examine the transfer ability of UBAR to new domains with limited data and provide visualization and a case study to illustrate the advantages of UBAR in modeling on a dialog session level.

연구 동기 및 목표

• 현실 세계의 사용 방식을 더 잘 반영하기 위해 태스크 지향 대화에서 턴 수준에서 세션 수준 모델링으로의 이동을 제안한다.
• 신념 상태와 시스템 행위를 포함한 전체 대화 세션에 대해 학습된 GPT-2 기반 모델(UBAR)을 제안한다.
• 맥락 내 생성 콘텐츠를 사용한 엔드-투-엔드, 생성 및 정책 최적화 설정을 평가한다.
• 제한된 데이터로 새로운 도메인으로의 전송 가능성을 분석하고 시각화 및 사례 연구를 통해 통찰을 제공한다.

제안 방법

• 각 턴에 대해 전체 대화 세션을 연결한 시퀀스(U, B, D, A, R)에 대해 DistilGPT-2를 미세조정한다.
• 응답을 델렉시컬라이즈하고 일반화를 향상시키기 위해 도메인 적응적이고 분리된 스팬을 신념 상태와 시스템 행위에 사용하여 일반화를 향상시킨다.
• 생성을 고정하기 위해 신념 상태와 시스템 행위를 도메인-슬롯/값 및 도메인-행위/스팬 토큰으로 표현한다.
• 세션 수준 시퀀스에 대해 표준 언어 모델링 목표로 학습하고(추가 감독 목표 없음).
• 세 가지 설정에서 평가: 응답 생성을 위한 실제 신념/상태 컨텍스트, 정책 최적화를 위한 실제 신념/상태, 생성 맥락을 포함한 엔드-투-엔드 모델링.

실험 결과

연구 질문

• RQ1 세션 수준 학습이 중간 정보(신념 상태, 시스템 행위)를 포함할 때 엔드-투-엔드 TOD 성능을 향상시킬 수 있는가?
• RQ2 실제 ground-truth가 아닌 생성된 대화 맥락으로 평가하는 것이 실제 사용 배치를 더 잘 반영하는가?
• RQ3 제한된 데이터로 보지 못한 도메인으로의 이전이 얼마나 잘 이루어지는가?
• RQ4 대화 맥락의 길이와 내용(실제 대화 vs 생성된 대화)이 엔드-투-엔드 TOD 성능에 미치는 영향은 무엇인가?

주요 결과

모델	신념 상태	시스템 행위	정보	성공	BLEU	종합
HDSA	oracle	oracle	87.9	78.0	30.4	113.4
DAMD	oracle	oracle	95.4	87.2	27.3	118.5
SimpleTOD	oracle	oracle	92.3	85.8	18.67	107.7
UBAR (ours)	oracle	oracle	96.9	92.2	28.6	123.2
SFN+RL	oracle	generated	82.7	72.1	16.3	93.7
HDSA	oracle	generated	82.9	68.9	23.6	99.5
ARDM	oracle	-	87.4	72.8	20.6	100.7
DAMD	oracle	generated	89.2	77.9	18.6	102.2
SimpleTOD	oracle	generated	88.9	67.1	16.9	94.9
SOLOIST	oracle	-	89.6	79.3	18.0	102.5
UBAR (ours)	oracle	generated	94.0	83.6	17.2	106.0
SFN+RL	generated	generated	73.8	58.6	16.9	83.0
DAMD	generated	generated	76.3	60.4	16.6	85.0
SimpleTOD	generated	generated	84.4	70.1	15.0	92.3
SOLOIST	generated	-	85.5	72.9	16.5	95.7
UBAR (ours)	generated	generated	95.4	80.7	17.0	105.1

• UBAR는 MultiWOZ 2.0/2.1에서 응답 생성, 정책 최적화, 엔드-투-엔드 모델링 전부에서 최첨단 성과를 달성한다.
• 엔드-투-엔드 모델링에서, 모든 생성 맥락을 사용하여 기본 모델 대비 결합 점수를 크게 향상시킨다.
• 세션 수준 시퀀스 학습과 생성 대화 맥락의 사용은 현실적인 엔드-투-엔드 TOD 성능에 필수적이다.
• UBAR는 제한된 데이터로 새로운 도메인으로의 전이 능력을 보이며, 특히 소수 샷 미세조정에서 그렇지만 데이터의 부족 현상은 여전히 뚜렷하다.
• 제거 연구는 맥락에서의 신념 상태와 시스템 행위가 사용자 발화/응답보다 정책 학습과 grounding에 더 중요하다는 것을 보여준다.