[논문 리뷰] Personalizing a Dialogue System with Transfer Reinforcement Learning

Kaixiang Mo, Shuangyin Li외 3명|arXiv (Cornell University)|2016. 10. 10.

Speech and dialogue systems참고 문헌 20인용 수 23

한 줄 요약

이 논문은 POMDP 기반의 전이 강화 학습 프레임워크인 PETAL을 제안한다. 이는 여러 사용자의 소스 도메인에서 공유되는 대화 지식을 학습하고, 개인화된 Q함수를 통해 이를 타겟 사용자에게 적응시켜 작업 중심 대화 시스템을 개인화한다. 이 방법은 사용자별 선호도를 모델링하여 부정적 전이를 효과적으로 방지하며, 실제 및 시뮬레이션된 커피 주문 데이터셋에서 뛰어난 대화 품질과 더 빠른 수렴을 달성한다.

ABSTRACT

It is difficult to train a personalized task-oriented dialogue system because the data collected from each individual is often insufficient. Personalized dialogue systems trained on a small dataset can overfit and make it difficult to adapt to different user needs. One way to solve this problem is to consider a collection of multiple users' data as a source domain and an individual user's data as a target domain, and to perform a transfer learning from the source to the target domain. By following this idea, we propose "PETAL"(PErsonalized Task-oriented diALogue), a transfer-learning framework based on POMDP to learn a personalized dialogue system. The system first learns common dialogue knowledge from the source domain and then adapts this knowledge to the target user. This framework can avoid the negative transfer problem by considering differences between source and target users. The policy in the personalized POMDP can learn to choose different actions appropriately for different users. Experimental results on a real-world coffee-shopping data and simulation data show that our personalized dialogue system can choose different optimal actions for different users, and thus effectively improve the dialogue quality under the personalized setting.

연구 동기 및 목표

• 제한된 사용자별 데이터로 개인화된 작업 중심 대화 시스템을 훈련하는 데 도전한다.
• 다양한 선호도를 가진 타겟 사용자에게 소스 도메인의 대화 지식을 전이할 때 발생할 수 있는 부정적 전이를 완화한다.
• 일반적인 대화 지식을 개인 사용자 행동에 맞게 적응시키는 개인화된 정책 학습 프레임워크를 개발한다.
• 사용자별 정책 적응을 통해 대화 품질을 향상시키고 대화 길이를 단축시킨다.

제안 방법

• PETAL 시스템은 일반적이고 개인화된 보상 신호를 조합한 개인화된 Q함수를 사용하는 POMDP 기반 프레임워크를 활용하여 대화 정책 학습을 모델링한다.
• 다양한 사용자들이 공유하는 선호도와 행동을 가진 소스 도메인에서 공통된 대화 지식을 학습한다.
• 개인화된 Q함수는 소스 사용자와 타겟 사용자 간의 차이를 명시적으로 모델링하여 부정적 전이를 방지한다.
• 실제 및 시뮬레이션된 대화 데이터를 모두 사용하여 훈련하며, 과제 완수와 효율적인 대화 흐름을 장려하는 보상 함수를 사용한다.
• 현재 대화 상태와 사용자별 정책에 기반하여 후보 응답 집합에서 응답을 동적으로 선택한다.
• 수동으로 정의된 상태 공간이 필요 없어 원시 대화 데이터로부터 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 다양한 사용자로 구성된 소스 도메인에서의 전이 학습이 개별 타겟 사용자에 대한 개인화된 대화 정책 학습을 향상시킬 수 있는가?
• RQ2 공유 지식을 개인 사용자 선호도에 효과적으로 적응시키되, 부정적 전이를 유발하지 않으려면 어떻게 해야 하는가?
• RQ3 개인화된 미래 기대 보상 모델링이 대화 정책 성능에 어느 정도 기여하는가?
• RQ4 개인화된 Q함수를 갖춘 POMDP 기반 프레임워크가 비개인화된 방법 및 기준 전이 방법보다 대화 품질과 효율성 면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• PETAL은 실제 및 시뮬레이션 데이터셋에서 모두 최고의 평균 보상을 기록하여 뛰어난 정책 최적화를 보였다.
• 과제 완수 성공률가 가장 높아, 다양한 사용자 유형에 걸쳐 높은 신뢰성을 입증했다.
• 기존 기준 모델 대비 대화 길이가 크게 감소하여 더 빠르고 효율적인 대화를 구현했다.
• PETAL이 제공하는 개인화된 대화 정책은 사용자 선호도에 맞는 응답을 적응시키며, 반복 주문 인식이나 예외 처리와 같은 기능을 지원했다.
• 시뮬레이션 환경에서 PETAL은 모든 사용자를 동일하게 취급하는 'All' 기준 모델을 능가했으며, 사용자 습관에 맞게 질문을 맞춤화함으로써 성능을 향상시켰다.
• 소스 사용자와 타겟 사용자 간의 선호도 차이를 Q함수에서 명시적으로 모델링함으로써, 심지어 타겟 사용자가 소스와 다른 선호도를 가졌을 경우에도 부정적 전이를 성공적으로 방지했다.