[논문 리뷰] User Modeling for Task Oriented Dialogues

İzzeddin Gür, Dilek Hakkani‐Tür외 2명|arXiv (Cornell University)|2018. 11. 11.

Speech and dialogue systems참고 문헌 18인용 수 15

한 줄 요약

이 논문은 RNN을 사용하여 사용자 목표와 대화 역사를 인코딩함으로써 종단 간 사용자 행동을 모델링하는 계층적 시퀀스-투-시퀀스 사용자 시뮬레이터(HUS)를 제안한다. 이는 대화 정책의 강력한 훈련과 평가를 가능하게 한다. 주요 기여는 대화 길이를 줄이고 성공률을 높이는 목표 정규화 메커니즘으로, 변동성 확장 기법은 응답 다양성을 향상시킨다.

ABSTRACT

We introduce end-to-end neural network based models for simulating users of task-oriented dialogue systems. User simulation in dialogue systems is crucial from two different perspectives: (i) automatic evaluation of different dialogue models, and (ii) training task-oriented dialogue systems. We design a hierarchical sequence-to-sequence model that first encodes the initial user goal and system turns into fixed length representations using Recurrent Neural Networks (RNN). It then encodes the dialogue history using another RNN layer. At each turn, user responses are decoded from the hidden representations of the dialogue level RNN. This hierarchical user simulator (HUS) approach allows the model to capture undiscovered parts of the user goal without the need of an explicit dialogue state tracking. We further develop several variants by utilizing a latent variable model to inject random variations into user responses to promote diversity in simulated user responses and a novel goal regularization mechanism to penalize divergence of user responses from the initial user goal. We evaluate the proposed models on movie ticket booking domain by systematically interacting each user simulator with various dialogue system policies trained with different objectives and users.

연구 동기 및 목표

• 작업 중심 대화 시스템에서 명시적인 대화 상태 추적 없이도 종단 간 신경망 사용자 시뮬레이터를 개발하는 것.
• 훈련 및 평가를 위한 확장 가능하고 다양한, 현실적인 사용자 행동 모델링을 가능하게 하는 것.
• 기존 시뮬레이터의 한계, 즉 응답 다양성 부족과 애너테이션된 대화 상태에 대한 과도한 의존성 문제를 해결하는 것.
• 잠재 변수 모델링을 통해 다양한 사용자 행동을 시뮬레이션함으로써 대화 정책의 강건성을 향상시키는 것.
• 실제 사용자 상호작용을 반영하는 자연스럽고 목표에 부합하는 대화를 생성함으로써 평가의 정밀도를 향상시키는 것.

제안 방법

• RNN을 사용해 사용자 목표와 시스템 전환을 고정 길이 표현으로 인코딩하고, 이를 바탕으로 대화 수준의 RNN을 통해 역사를 모델링하는 계층적 시퀀스-투-시퀀스 사용자 시뮬레이터(HUS)를 제안한다.
• 대화 역사를 표현한 후 각 전환에서 사용자 응답을 디코딩함으로써 명시적인 상태 추적 없이 암묵적인 사용자 목표 추적을 가능하게 한다.
• 스토캐스틱성을 주입하고 응답 다양성을 높이기 위해 잠재 변수를 도입한 변동성 프레임워크(VHUS)를 도입한다.
• 사용자 응답과 초기 사용자 목표 간의 이탈을 방지하기 위해 목표 정규화 메커니즘을 개발하여 목표 중심적이며 간결한 대화를 유도한다.
• 평가를 위해 대화 액션을 자연어 문장으로 변환하기 위해 템플릿 기반 자연어 생성 기법을 사용한다.
• 시스템적 상호작용 실험을 통해 지도 학습 및 강화 학습 기반의 대화 정책을 사용해 사용자 시뮬레이터를 평가한다.

실험 결과

연구 질문

• RQ1 명시적인 대화 상태 추적 없이도 종단 간 신경망 사용자 시뮬레이터가 전통적인 파이프라인 기반 사용자 모델링을 효과적으로 대체할 수 있는가?
• RQ2 사용자 응답에 잠재적 변동성을 도입할 경우, 시뮬레이션된 대화의 다양성과 현실성은 어떻게 영향을 받는가?
• RQ3 목표 정규화가 다양한 대화 정책 아키텍처에서 대화 효율성과 성공률 향상에 얼마나 기여하는가?
• RQ4 사람에 의한 평가에서 다양한 사용자 시뮬레이터 간 자연스러움과 맥락 적합성 측면에서 어떻게 비교되는가?
• RQ5 변동성 모델링과 목표 정규화의 조합이 응답 다양성과 대화 효과성 사이의 균형을 더 잘 맞출 수 있는가?

주요 결과

• 목표 정규화 메커니즘(HUSReg)은 반복적이거나 루프되는 상호작용을 최소화함으로써 평균 대화 길이를 크게 줄였고, 더 짧고 목표 중심적인 대화를 이끌어냈다.
• HUSReg는 인간 평가에서 가장 높은 작업 완료율(평균 점수 4.88)과 가장 낮은 표준편차를 기록했으며, 기준 시뮬레이터와 일정 기반 모델을 모두 압도했다.
• 강화 학습 기반 대화 정책은 사용자 응답의 변동성에 더 강건했으며, 다양한 시뮬레이션된 사용자 행동 조건에서도 높은 성능을 유지했다.
• 변동성 사용자 시뮬레이터(VHUS)와 그 정규화 버전(VHUSReg)은 엔트로피와 퍼플렉서티 측면에서 가장 높은 응답 다양성 점수를 기록했으며, 잠재 변수 모델링의 효과를 확인했다.
• 인간 평가 결과, 제안된 모든 시뮬레이터가 매우 자연스럽고 맥락에 적합한 응답을 생성했으며, VHUSReg는 다양성과 일관성 사이의 최상의 균형을 달성했다.
• HUS에 대화 길이를 특징으로 포함시킴으로써 작업 성공률과 대화 길이 성능 향상이 이루어졌지만, 응답 다양성에는 영향을 주지 않았다.