[논문 리뷰] Interacting with Non-Cooperative User: A New Paradigm for Proactive Dialogue Policy

Wenqiang Lei, Yao Zhang외 6명|arXiv (Cornell University)|2022. 04. 07.

Speech and dialogue systems인용 수 9

한 줄 요약

이 논문은 상호작용적이고 비협력적인 환경에서 목표 달성 속도와 사용자 만족도를 동적으로 균형 잡는 프로아티브 대화 정책 프레임워크인 I-Pro를 제안한다. 대화 턴, 목표 난이도, 사용자 만족도, 협력 수준를 기반으로 목표 가중치를 학습함으로써, I-Pro는 시뮬레이션된 비협력적 사용자와의 상호작용에서 딥 Q러닝을 통해 기존의 기준보다 효과성과 해석 가능성 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Proactive dialogue system is able to lead the conversation to a goal topic and has advantaged potential in bargain, persuasion and negotiation. Current corpus-based learning manner limits its practical application in real-world scenarios. To this end, we contribute to advance the study of the proactive dialogue policy to a more natural and challenging setting, i.e., interacting dynamically with users. Further, we call attention to the non-cooperative user behavior -- the user talks about off-path topics when he/she is not satisfied with the previous topics introduced by the agent. We argue that the targets of reaching the goal topic quickly and maintaining a high user satisfaction are not always converge, because the topics close to the goal and the topics user preferred may not be the same. Towards this issue, we propose a new solution named I-Pro that can learn Proactive policy in the Interactive setting. Specifically, we learn the trade-off via a learned goal weight, which consists of four factors (dialogue turn, goal completion difficulty, user satisfaction estimation, and cooperative degree). The experimental results demonstrate I-Pro significantly outperforms baselines in terms of effectiveness and interpretability.

연구 동기 및 목표

• 코퍼스 기반 학습의 한계를 해결함으로써, 현실 세계의 동적 상호작용을 모델링하지 못하는 프로아티브 대화 시스템의 문제를 해결한다.
• 사용자가 만족하지 못할 경우 경로에서 벗어나는 주제를 도입하는 비협력적 사용자 행동을 식별하고, 이는 상호작용적 프로아티브 대화의 핵심 과제로 다룬다.
• 실시간 상호작용 대화에서 빠른 목표 달성과 지속적인 사용자 만족도를 동시에 최적화하는 프로아티브 대화 정책을 개발한다.
• 목표 달성 속도와 높은 사용자 참여도라는 상충되는 목표 간의 균형을 동적으로 조정하기 위한 학습 가능한 목표 가중치 메커니즘을 도입한다.
• 사용자 시뮬레이터를 활용한 시뮬레이션 기반 훈련 프레임워크를 통해 해석 가능하고 전략적인 대화 정책 학습을 가능하게 한다.

제안 방법

• 목표 달성과 사용자 만족도를 균형 잡는 복합 보상 함수를 최적화하기 위해 딥 Q러닝을 사용하여 대화 정책을 훈련한다.
• 대화 턴, 목표 달성 난이도, 사용자 만족도 추정치, 협력 정도의 4가지 요소를 포함하여 동적으로 목표 달성률(GCR)과 사용자 만족도(US) 간의 트레이드오프를 조정하는 학습된 목표 가중치(gw)를 설계한다.
• 사용자 만족도가 임계값 이하로 떨어지면 경로에서 벗어난 주제를 도입함으로써 비협력적 행동을 시뮬레이션하는 사용자 시뮬레이터를 구축한다.
• 지식 그래프(KG)를 사용하여 주제 전환을 구체화함으로써, 정책 학습 중 주제 간 의미적 관계를 기반으로 한 추론을 가능하게 한다.
• 사용자가 이탈함에 따라 실시간으로 주제 선택을 조정해야 하는 시뮬레이션된 상호작용 환경에서 에이전트를 훈련하고 평가한다.
• 긴 대화 길이에 대한 보상 형식을 조정하고, 빠른 목표 달성을 장려하며, 높은 사용자 만족도 점수에 보상을 주는 보상 형식화 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 비협력적 사용자 행동이 존재하는 상황에서 프로아티브 대화 정책은 어떻게 빠른 목표 달성과 지속적인 사용자 만족도를 효과적으로 균형 잡을 수 있는가?
• RQ2 학습된 목표 가중치 메커니즘이 다양한 대화 단계에서 목표 달성과 사용자 만족도 간의 트레이드오프를 얼마나 동적으로 조정할 수 있는가?
• RQ3 상호작용적이고 시뮬레이션 기반 훈련 방식은 코퍼스 기반 학습 대비 프로아티브 대화 정책의 강건성과 효과성을 얼마나 향상시킬 수 있는가?
• RQ4 비협력적 사용자 협력 수준과 만족도 추정치의 통합이 정책 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 비협력적 사용자가 경로에서 벗어난 주제를 도입할 경우, 에이전트가 목표 주제로 효율적으로 복귀할 수 있는 능력에 어떤 영향을 미치는가?

주요 결과

• I-Pro는 여러 평가 지표에서 세 가지 강력한 기준보다 목표 달성률과 사용자 만족도 면에서 뚜렷한 우월성을 보였다.
• 학습된 목표 가중치(gw) 덕분에 I-Pro는 참여도가 낮을 경우 사용자 만족도를 우선시할 수 있었고, 예를 들어 gw₂ = 0.07로 설정했으며, 만족도가 높은 후반 단계에서는 빠른 목표 달성을 향해 전환하여 gw₁₅ = 0.55로 설정하였다.
• I-Pro는 비협력적이고 동적인 사용자 행동에도 불구하고 기준보다 더 높은 평균 사용자 만족도 점수를 기록하여 더 높은 사용자 참여도를 보였다.
• 비협력적 사용자가 경로에서 벗어난 주제를 도입하는 상황에서도 I-Pro는 지연 없이 목표 경로로 재정렬하는 데 성공하여 강건성을 입증하였다.
• 비협력적 행동을 시뮬레이션하는 사용자 시뮬레이터의 활용은 더 현실적이고 효과적인 정책 훈련을 가능하게 하여 상호작용 환경에서의 일반화 능력을 향상시켰다.
• 명시적이고 인자 기반의 목표 가중치 설계 덕분에 I-Pro는 각 대화 턴에서 정책 결정에 대한 통찰을 제공하여 뛰어난 해석 가능성을 보였다.