[논문 리뷰] SUMBT+LaRL: End-to-end Neural Task-oriented Dialog System with Reinforcement Learning

Hwaran Lee, Seokhwan Jo외 3명|arXiv (Cornell University)|2020. 09. 22.

Topic Modeling참고 문헌 41인용 수 11

한 줄 요약

이 논문은 강화학습을 통해 사용자 복잡도 추적과 잠재 응답 생성을 동시에 최적화하는 엔드 투 엔드 신경망 작업 지향 대화 시스템인 SUMBT+LaRL을 제안한다. SUMBT+는 사용자 복잡도 추정을 위해 별도로 사전 훈련하고, LaRL은 잠재 동작 모델링을 위해 별도로 사전 훈련한 후 엔드 투 엔드 미세조정을 수행함으로써, DSTC8 챌린지에서 코퍼스 기반 평가에서 85.4%의 새로운 최고 성능 성공률과 시뮬레이터 기반 평가에서 81.40%의 성공률을 달성한다.

ABSTRACT

The recent advent of neural approaches for developing each dialog component in task-oriented dialog systems has remarkably improved, yet optimizing the overall system performance remains a challenge. In this paper, we propose an end-to-end trainable neural dialog system with reinforcement learning, named SUMBT+LaRL. The SUMBT+ estimates user-acts as well as dialog belief states, and the LaRL models latent system action spaces and generates responses given the estimated contexts. We experimentally demonstrate that the training framework in which the SUMBT+ and LaRL are separately pretrained and then the entire system is fine-tuned significantly increases dialog success rates. We propose new success criteria for reinforcement learning to the end-to-end dialog system as well as provide experimental analysis on a different result aspect depending on the success criteria and evaluation methods. Consequently, our model achieved the new state-of-the-art success rate of 85.4% on corpus-based evaluation, and a comparable success rate of 81.40% on simulator-based evaluation provided by the DSTC8 challenge.

연구 동기 및 목표

• 구성 요소 수준의 모델링 향상에도 불구하고 신경망 작업 지향 대화 시스템의 전체 성능 최적화 문제를 해결하기 위해.
• 강화학습을 통합한 엔드 투 엔드 학습 가능한 아키텍처를 개발하여 사용자 복잡도 추적과 응답 생성을 통합하기 위해.
• 두 단계 훈련 프레임워크(사전 훈련 후 공동 미세조정)를 통해 대화 성공률를 향상시키기 위해.
• 엔드 투 엔드 대화 시스템에서 강화학습에 특화된 새로운 성공 기준과 평가 방법을 제안하기 위해.

제안 방법

• SUMBT+ 구성 요소는 신경 시퀀스 모델을 사용하여 사용자 액션을 추정하고 대화 복잡도 상태를 유지한다.
• LaRL 구성 요소는 강화학습 프레임워크를 사용하여 잠재 시스템 동작 공간을 모델링하고 맥락 기반 응답을 생성한다.
• 시스템은 두 단계 훈련 전략을 사용한다: SUMBT+와 LaRL을 별도로 사전 훈련한 후 전체 모델을 엔드 투 엔드로 미세조정한다.
• 강화학습은 전체 대화 정책 최적화를 위해 적용되며, 새로운 성공 기준에 기반한 보상 형상 조정이 이루어진다.
• 아키텍처는 복잡도 상태 추정과 응답 생성을 하나의 공동 학습 가능한 프레임워크로 통합한다.
• 성공 기준은 엔드 투 엔드 대화 시스템에서 작업 완료와 더 잘 일치하도록 재정의된다.

실험 결과

연구 질문

• RQ1 두 단계 사전 훈련 및 미세조정 전략은 초기부터 공동 훈련하는 것과 비교해 엔드 투 엔드 대화 시스템 성능을 향상시키는가?
• RQ2 다양한 성공 기준은 강화학습 기반 대화 시스템의 평가 및 훈련에 어떤 영향을 미치는가?
• RQ3 LaRL에서의 잠재 동작 모델링은 작업 지향 대화에서 응답 품질과 작업 성공률를 얼마나 향상시킬 수 있는가?
• RQ4 복잡도 추적과 응답 생성을 하나의 엔드 투 엔드 프레임워크로 통합하면 성공률가 높아지는가?
• RQ5 제안된 시스템은 코퍼스 기반 및 시뮬레이터 기반 평가 모두에서 최고 수준의 모델들과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 SUMBT+LaRL 시스템은 코퍼스 기반 평가에서 새로운 최고 성능 성공률 85.4%를 달성했다.
• DSTC8 벤치마크를 사용한 시뮬레이터 기반 평가에서 시스템은 성공률 81.40%를 기록하여 뛰어난 일반화 능력을 입증했다.
• 두 단계 훈련 전략—사전 훈련 후 엔드 투 엔드 미세조정—은 다른 훈련 전략과 비교해 대화 성공률를 크게 향상시켰다.
• 새로운 성공 기준의 도입은 강화학습 기반 대화 시스템의 평가를 더 신뢰할 수 있고 의미 있는 방식으로 개선했다.
• 모델은 코퍼스 기반 및 시뮬레이터 기반 평가 모두에서 기존 방법들을 능가했으며, 그 효과성을 확인했다.