[논문 리뷰] A Probabilistic End-To-End Task-Oriented Dialog Model with Latent Belief States towards Semi-Supervised Learning

Yichi Zhang, Zhijian Ou외 2명|arXiv (Cornell University)|2020. 09. 17.

Topic Modeling참고 문헌 40인용 수 4

한 줄 요약

이 논문은 민감도 상태를 잠재 변수로 간주하는 확률적 엔드 투 엔드 작업 지향 대화 모델인 LABES를 제안한다. 이는 레이블이 없는 대화 데이터를 활용한 준감독 학습을 가능하게 하며, MultiWOZ에서 성능 손실 없이 약속된 데이터 요구량을 50% 감소시킨다. 변동형 추론과 복사 증강 시퀀스 투 시퀀스 아키텍처(LABES-S2S)를 활용하여 기준 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Structured belief states are crucial for user goal tracking and database query in task-oriented dialog systems. However, training belief trackers often requires expensive turn-level annotations of every user utterance. In this paper we aim at alleviating the reliance on belief state labels in building end-to-end dialog systems, by leveraging unlabeled dialog data towards semi-supervised learning. We propose a probabilistic dialog model, called the LAtent BElief State (LABES) model, where belief states are represented as discrete latent variables and jointly modeled with system responses given user inputs. Such latent variable modeling enables us to develop semi-supervised learning under the principled variational learning framework. Furthermore, we introduce LABES-S2S, which is a copy-augmented Seq2Seq model instantiation of LABES. In supervised experiments, LABES-S2S obtains strong results on three benchmark datasets of different scales. In utilizing unlabeled dialog data, semi-supervised LABES-S2S significantly outperforms both supervised-only and semi-supervised baselines. Remarkably, we can reduce the annotation demands to 50% without performance loss on MultiWOZ.

연구 동기 및 목표

• 엔드 투 엔드 작업 지향 대화 시스템에서 비용이 많이 드는 터미널 수준 민감도 상태 레이블에 대한 의존도를 줄이기 위해.
• 잠재 변수 모델링을 통해 레이블이 없는 대화 데이터를 활용하여 효과적인 준감독 학습을 가능하게 하기 위해.
• 민감도 상태를 공동으로 추론하고 시스템 응답을 생성하는 확률적 생성 모델을 개발하기 위해.
• 레이블이 없는 대화 데이터가 명시적인 레이블 없이도 민감도 추적에 활용 가능한 신호를 담고 있음을 입증하기 위해.
• 특히 저자원 환경에서 레이블 요구량을 크게 줄이며 뛰어난 성능을 달성하기 위해.

제안 방법

• 대화 시스템을 조건부 생성 모델로 모델링: pθ(b1:T, r1:T | u1:T), 여기서 민감도 상태 b1:T는 잠재 변수이다.
• 혼합된 레이블이 있는 데이터와 없는 데이터를 대상으로 최적화하기 위해 변동형 추론 프레임워크를 활용한다.
• 엔드 투 엔드 응답 생성과 민감도 추적을 위한 복사 증강 시퀀스 투 시퀀스 구현인 LABES-S2S를 도입한다.
• 어텐션 메커니즘과 복사 메커니즘을 사용하여 슬롯 값 유지 및 응답 유창성 향상.
• 사용자 입력과 시스템 응답의 암묵적 신호—예를 들어 단어 반복 또는 쿼리 결과—를 활용하여 민감도 상태 추론을 지원.
• 일반화 성능 향상을 위해 변동형 학습 프레임워크 내에서 사후 정규화와 오토에코딩 목표를 적용한다.

실험 결과

연구 질문

• RQ1 민감도 상태를 잠재 변수로 효과적으로 모델링하여 레이블이 있는 학습 데이터에 대한 의존도를 줄일 수 있는가?
• RQ2 레이블이 없는 대화 데이터가 엔드 투 엔드 대화 시스템에서 민감도 추적과 응답 생성에 얼마나 기여하는가?
• RQ3 저자원 환경에서 제안된 준감독 학습 프레임워크가 단순 감독 학습 및 이전 준감독 기반 베이스라인과 어떻게 비교되는가?
• RQ4 특히 MultiWOZ와 같은 대규모 벤치마크에서 학습 데이터를 50%로 줄였을 때 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 사용자 입력과 시스템 응답의 암묵적 신호가 명시적 레이블 없이 민감도 상태 추론을 어떻게 향상시키는가?

주요 결과

• LABES-S2S는 CamRest676과 In-Car에서 최고 성능을 기록하며, MultiWOZ 2.1에서 사전학습되지 않은 모델보다 뛰어난 성능을 보였다.
• 준감독 학습 기반의 LABES-S2S는 세 가지 기준 데이터셋 전반에서 단순 감독 학습 기반 및 이전 준감독 기반 베이스라인을 크게 능가했다.
• MultiWOZ에서 모델은 레이블이 50%일 경우 49.47%의 공동 목표 정확도를 기록했으며, 레이블이 100%일 경우 50.05%였던 것과 비교해 성능 손실 없이 약속된 데이터 요구량을 절반으로 줄였다.
• 성능 저하 없이 MultiWOZ에서 약 30,000개의 민감도 상태 레이블을 줄일 수 있었다.
• 레이블이 부족할 경우 준감독 변형이 더 큰 성능 향상을 이끌었으며, 특히 레이블 비율이 10%일 때 가장 큰 향상이 관찰되었다.
• 사례 연구 결과, 준감독 학습이 암묵적인 사용자 목표를 포착하고 'British'와 같은 힌트 단어를 학습함으로써 오류 전파를 방지하고 응답 품질을 향상시키는 데 기여함을 보였다.