[논문 리뷰] Towards Personalized Dialog Policies for Conversational Skill Discovery

Maryam Fazel-Zarandi, Sampat Biswas외 5명|arXiv (Cornell University)|2019. 11. 15.

Speech and dialogue systems참고 문헌 33인용 수 4

한 줄 요약

이 논문은 음성 보조 기술에서 개인화된 스킬 탐색을 위한 강화 학습(RL)-기반 대화 에이전트를 제안하며, 사용자 특성(예: 신규 사용자 vs. 재방문 사용자)과 대화 스타일(예: 간결 vs. 상세)에 적응함으로써 규칙 기반 시스템을 향상시킨다. 실제 생산 환경에서 평가된 결과, RL 에이전트는 평균 4.65회 대화로 76.99%의 성공률을 기록하여 규칙 기반 에이전트(73.41% 성공률, 4.97회 대화)를 뛰어넘었으며, 개인화 및 효율성 향상이 입증되었다.

ABSTRACT

Many businesses and consumers are extending the capabilities of voice-based services such as Amazon Alexa, Google Home, Microsoft Cortana, and Apple Siri to create custom voice experiences (also known as skills). As the number of these experiences increases, a key problem is the discovery of skills that can be used to address a user's request. In this paper, we focus on conversational skill discovery and present a conversational agent which engages in a dialog with users to help them find the skills that fulfill their needs. To this end, we start with a rule-based agent and improve it by using reinforcement learning. In this way, we enable the agent to adapt to different user attributes and conversational styles as it interacts with users. We evaluate our approach in a real production setting by deploying the agent to interact with real users, and show the effectiveness of the conversational agent in helping users find the skills that serve their request.

연구 동기 및 목표

• 수천 개의 스킬 중에서 사용자가 관련 스킬을 찾는 데 어려움을 겪는 대규모 음성 보조 기술에서의 스킬 탐색 과제를 해결하기 위해.
• 사용자 특성과 대화 선호도에 기반해 상호작용을 개인화함으로써 대화 기반 스킬 탐색을 향상시키기 위해.
• 정적 규칙 기반 시스템을 넘어서 사용자 행동에 동적으로 적응하는 강화 학습을 활용한 대화 정책을 개발하기 위해.
• 실제 사용자와 함께 실제 생산 환경에서 RL 기반 에이전트의 효과성을 평가하기 위해.
• 개인화되고 적응 가능한 대화 정책이 더 높은 성공률과 짧은 대화 길이를 이끌 수 있음을 보여주기 위해.

제안 방법

• 음성 보조 기술에서 스킬 탐색을 위한 기준으로 규칙 기반 대화 에이전트를 설정한다.
• 사용자 피드백을 희박한 보상으로 사용하여 성공률과 대화 길이를 최적화하는 강화 학습(RL) 에이전트를 훈련시킨다.
• RL 환경의 상태 특성으로 사용자 특성(예: 신규 사용자 vs. 재방문 사용자)과 대화 스타일(예: 간결 vs. 상세)을 통합한다.
• 사용자 맥락, 이력, 선호도를 포함한 상태 공간과 추천, 정보 요청, 탐색 동작을 포함한 액션 공간을 정의한다.
• 딥 Q넷(DQN) 또는 유사한 RL 알고리즘을 사용하여 대화 턴 동안 누적 보상을 최대화하는 정책을 학습한다.
• 훈련된 RL 에이전트를 실제 생산 환경에 배포하여 규칙 기반 기준과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 강화 학습 기반의 대화 정책이 실제 음성 보조 기술의 스킬 탐색에서 규칙 기반 정책을 능가할 수 있는가?
• RQ2 사용자 특성(예: 신규 사용자 vs. 재방문 사용자)에 기반한 개인화가 대화 성공률과 효율성에 어떤 영향을 미치는가?
• RQ3 대화 스타일(예: 간결 vs. 상세)에 적응함으로써 사용자 만족도와 작업 완료율이 어느 정도 향상되는가?
• RQ4 RL 에이전트는 성공률을 유지하거나 향상시키면서 대화 길이를 줄이는 데 성공하는가?
• RQ5 도메인 독립적인 개인화된 대화 정책은 스케일링 가능한 생산 환경에서 효과적으로 훈련되고 배포될 수 있는가?

주요 결과

• RL 기반 에이전트는 76.99%의 성공률을 기록하여 규칙 기반 에이전트의 73.41%보다 유의미하게 높았다(p < 0.0001).
• RL 에이전트는 평균 대화 길이를 4.65회로 줄였으며, 규칙 기반 에이전트의 4.97회보다 유의미하게 줄었다(p < 0.0001).
• 신규 사용자(77.14% vs. 72.68%)와 재방문 사용자(76.76% vs. 74.49%) 모두에서 RL 정책이 규칙 기반 정책을 뛰어넘었으며, 둘 다 통계적으로 유의미한 차이였다(p < 0.0001).
• 규칙 기반 정책는 신규 사용자와 재방문 사용자 간 성능 격차가 뚜렷했으며(p = 0.0010), 재방문 사용자에게 편향되어 있음을 보여주었고, 반면 RL 정책는 두 그룹 간 성능을 균형 있게 유지했다.
• RL 에이전트는 사용자 특성과 대화 스타일에 효과적으로 적응하여 실세계 환경에서 개인화된 정책을 학습하는 데서의 효과성을 입증했다.
• 연구는 강화 학습을 통해 전체 대화 상호작용을 최적화함으로써 성공률과 효율성 향상이 측정 가능한 수준으로 이루어질 수 있음을 확인했다.