[논문 리뷰] Large-scale Hybrid Approach for Predicting User Satisfaction with Conversational Agents

Dookun Park, Yuan Hao외 11명|arXiv (Cornell University)|2020. 05. 29.

Human Mobility and Location-Based Analysis인용 수 7

한 줄 요약

이 논문은 대규모 하이브리드 접근법을 제안하며, 사용자 만족도 예측을 향상시키기 위해 명시적 사용자 피드백, 사용자 피드백 데이터에서 기계학습된 예측, 인간 레이블링 데이터에서의 예측을 물결식 정책(waterfall policy)을 사용해 융합한다. 이 방법은 단일적으로 인간 레이블링 또는 피드백만을 사용하는 것보다 성능 향상과 도메인 간 일관성 향상에 뚜렷한 효과를 보였다.

ABSTRACT

Measuring user satisfaction level is a challenging task, and a critical component in developing large-scale conversational agent systems serving the needs of real users. An widely used approach to tackle this is to collect human annotation data and use them for evaluation or modeling. Human annotation based approaches are easier to control, but hard to scale. A novel alternative approach is to collect user's direct feedback via a feedback elicitation system embedded to the conversational agent system, and use the collected user feedback to train a machine-learned model for generalization. User feedback is the best proxy for user satisfaction, but is not available for some ineligible intents and certain situations. Thus, these two types of approaches are complementary to each other. In this work, we tackle the user satisfaction assessment problem with a hybrid approach that fuses explicit user feedback, user satisfaction predictions inferred by two machine-learned models, one trained on user feedback data and the other human annotation data. The hybrid approach is based on a waterfall policy, and the experimental results with Amazon Alexa's large-scale datasets show significant improvements in inferring user satisfaction. A detailed hybrid architecture, an in-depth analysis on user feedback data, and an algorithm that generates data sets to properly simulate the live traffic are presented in this paper.

연구 동기 및 목표

• 대규모 대화형 에이전트에서 인간 레이블링된 사용자 만족도 데이터의 확장성과 대표성에 한계가 있음을 해결하기 위해.
• 수동 레이블링보다 직접적인 사용자 피드백을 더 확장 가능하고 대표적인 사용자 만족도의 대체 지표로 활용하기 위해.
• 일부 인텐트나 도메인에서 피드백 커버리지가 불완전한 문제를 인간 레이블링 기반 예측과의 융합을 통해 보완하기 위해.
• 온라인 실험 및 프로덕션 배포에 적합한 강력하고 일관되며 확장 가능한 사용자 만족도 예측 시스템을 개발하기 위해.
• 정확한 실시간 만족도 추론을 통해 대화형 에이전트의 자가학습적 진화를 가능하게 하기 위해.

제안 방법

• 물결식 정책(waterfall policy)을 사용해 예측 소스의 우선순위를 정함: 먼저 직접적인 사용자 피드백, 그 다음 피드백 기반 모델 예측(고신뢰도), 마지막으로 인간 레이블링 기반 모델 예측.
• 두 개의 별도된 기계학습 모델을 훈련함: 하나는 명시적 사용자 피드백 데이터에 기반하고, 다른 하나는 인간 레이블링된 만족도 점수에 기반함.
• 예측 오류를 저감하기 위해 신뢰도 기반 라우팅 메커니즘을 사용해 두 모델의 예측을 하이브리드 아키텍처에서 융합함.
• 실제 분포 이탈 상황에서의 모델 성능 평가를 위해 실시간 트래픽을 시뮬레이션하는 합성 데이터 생성 알고리즘을 도입함.
• 대규모 Alexa 데이터셋을 기반으로 시스템을 평가하였으며, 성능은 상위 20개 도메인에 대해 매크로 평균 F1, 정밀도, 재현율 및 표준편차로 측정됨.
• 향후 고급 기계학습 기법을 사용해 융합 레이어를 강화할 수 있도록 확장 가능하도록 설계됨.

실험 결과

연구 질문

• RQ1 명시적 사용자 피드백은 인간 레이블링 전용 모델 대비 사용자 만족도 예측 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 사용자 피드백과 인간 레이블링을 융합한 하이브리드 모델은 다양한 대화형 도메인 간에 더 높은 일관성을 달성할 수 있는가?
• RQ3 피드백 수거 비율이 변할 경우 모델 성능과 사용자 경험에 어떤 영향을 미치는가?
• RQ4 일부 인텐트나 도메인에서 피드백 커버리지가 불완전할 경우, 보완 예측 소스를 통해 이를 어떻게 완화할 수 있는가?
• RQ5 물결식 정책을 적용한 하이브리드 모델은 정확도와 강건성 측면에서 단일 소스 접근 방식을 능가할 수 있는가?

주요 결과

• 하이브리드 접근법은 평가된 모든 모델 중에서 매크로 평균 F1 점수, 정밀도, 재현율이 가장 높았으며, 피드백 전용 및 레이블링 전용 기준선보다 뚜렷이 뛰어났다.
• 하이브리드 모델은 도메인 간 성능 표준편차가 가장 낮아, 만족도 예측의 우수한 일관성을 보였다.
• 피드백 수거 비율을 1%에서 10%로 증가시켰을 때 예측 정확도에 유의미한 향상이 있었으며, 더 많은 피드백 데이터가 유의미한 이점을 제공함을 확인했다.
• 낮은 피드백 커버리지가 있는 도메인에서도 인간 레이블링 기반 모델을 효과적으로 후행 예측 소스로 활용함으로써 높은 성능 유지를 유지했다.
• 물결식 정책은 신뢰도가 높은 피드백 신호를 효과적으로 우선순위화하여 낮은 신뢰도의 예측에 대한 의존도를 줄이고 전체적인 강건성을 향상시켰다.
• 합성 데이터 생성 방법은 실제 트래픽 패턴을 성공적으로 시뮬레이션하여 분포 이탈 상황에서의 모델 행동 평가를 신뢰성 있게 가능하게 했다.