[논문 리뷰] Multi-domain Conversation Quality Evaluation via User Satisfaction Estimation

Praveen Kumar Bodigutla, Lazaros Polymenakos외 1명|arXiv (Cornell University)|2019. 11. 18.

Speech and dialogue systems참고 문헌 16인용 수 14

한 줄 요약

이 논문은 다중 도메인 대화형 AI를 위한 도메인 독립적 사용자 만족도 평가(USE) 프레임워크를 제안하며, 새로운 응답 품질(RQ) annotation 체계와 다섯 가지 새로운 특징 집합을 도입하여 대화의 각 전환 단계와 대화 전체 수준에서 사용자 만족도를 예측한다. 기울기 부스팅 회귀를 사용한 모델은 알려진 도메인에서 인간이 평가한 점수와 0.79의 선형 상관관계를 달성했으며, 새로운 다중 전환 도메인에서는 0.67의 상관관계를 보였으며, 전환 수준 예측을 통합함으로써 이진 사용자 만족도 분류 정확도가 16% 향상되었다.

ABSTRACT

An automated metric to evaluate dialogue quality is vital for optimizing data driven dialogue management. The common approach of relying on explicit user feedback during a conversation is intrusive and sparse. Current models to estimate user satisfaction use limited feature sets and employ annotation schemes with limited generalizability to conversations spanning multiple domains. To address these gaps, we created a new Response Quality annotation scheme, introduced five new domain-independent feature sets and experimented with six machine learning models to estimate User Satisfaction at both turn and dialogue level. Response Quality ratings achieved significantly high correlation (0.76) with explicit turn-level user ratings. Using the new feature sets we introduced, Gradient Boosting Regression model achieved best (rating [1-5]) prediction performance on 26 seen (linear correlation ~0.79) and one new multi-turn domain (linear correlation 0.67). We observed a 16% relative improvement (68% -> 79%) in binary ("satisfactory/dissatisfactory") class prediction accuracy of a domain-independent dialogue-level satisfaction estimation model after including predicted turn-level satisfaction ratings as features.

연구 동기 및 목표

• 다양한 도메인의 대화 품질 평가를 위한 확장 가능하고 도메인에 관계없는 메트릭 개발
• 기존 방법의 한계를 해결하기 위해 침투적인 피드백, 희박한 annotation, 도메인 특화 특징에 의존하는 것
• 일반화 가능한 도메인 간에 적용 가능한 맥락이 풍부한 새로운 특징 집합을 도입하여 대화 품질 평가 향상
• 예측된 전환 수준의 사용자 만족도를 특징으로 통합하여 대화 수준의 만족도 예측 향상
• 신뢰할 수 있고 자동화된 사용자 만족도 신호를 활용하여 데이터 기반 대화 정책 최적화 가능

제안 방법

• 대화 전환 단위에서 사용자 만족도를 1~5의 연속 척도로 평가할 수 있는 새로운 응답 품질(RQ) annotation 체계를 도입하여, 명시적 사용자 평가와 높은 상관관계(r = 0.76)를 달성
• 다섯 가지 새로운 도메인 독립적 특징 집합 설계: 요청 어조 재구성 지표, 응답 일관성, 주제 다양성, 실행 불가 요청 탐지, 종합 도메인 인기도
• 예측된 전환 수준의 사용자 만족도를 예측하기 위해 annotation 데이터를 기반으로 기울기 부스팅 회귀, MLP, 라소 등 여섯 가지 기계 학습 모델 훈련
• 기울기 부스팅을 사용해 전환 수준의 만족도를 추정하고, 평균 예측 점수를 대화 수준 모델의 특징으로 통합하여 일반화 능력 향상
• 모델 예측의 해석 가능성을 확보하고 신규 특징의 관련성을 검증하기 위해 특징 중요도 분석 수행
• 26개의 기존 도메인과 하나의 새로운 다중 전환 도메인에서 성능을 벤치마크하여, 회귀 및 이진 분류 메트릭 모두 평가

실험 결과

연구 질문

• RQ1 연속적이고 전환 수준의 사용자 만족도 예측 모델은 다양한 다중 도메인 대화 상호작용에 일반화될 수 있는가?
• RQ2 새로운 도메인 독립적 특징은 대화 품질 평가 모델의 성능을 어떻게 향상시키는가?
• RQ3 예측된 전환 수준의 만족도를 통합할 경우 대화 수준의 만족도 예측 정확도는 어느 정도 향상되는가?
• RQ4 제안된 응답 품질(RQ) annotation 체계는 명시적 사용자 피드백과 강한 상관관계를 가지는가?
• RQ5 다양한 기계 학습 모델은 새로운 다중 전환 도메인에 대해 얼마나 잘 일반화되는가?

주요 결과

• 응답 품질(RQ) annotation 체계는 명시적 전환 수준 사용자 평가와 0.76의 선형 상관관계를 달성하여 강력한 타당성과 신뢰도를 입증
• 기울기 부스팅 회귀 모델이 가장 높은 성능을 보였으며, 26개의 기존 도메인에서 예측된 RQ 점수와 annotation된 RQ 점수 간 선형 상관관계가 0.79에 도달
• 새로운 다중 전환 도메인에서는 여전히 0.67의 상관관계를 유지하여 새로운 응용 분야에 대한 뛰어난 일반화 능력 입증
• 평균 예측 전환 수준 만족도를 특징으로 통합함으로써 대화 수준 모델에서 이진 사용자 만족도 분류 정확도가 16% 향상되었으며(68%에서 79%로), 성능 향상
• 기울기 부스팅 모델은 14개 도메인에서 진짜 대화 수준 평가 점수와 0.60의 상관관계를 기록했으며, 기준 모델 대비 통계적으로 유의미한 향상
• 특징 중요도 분석 결과, 평균 예측 전환 수준 만족도가 가장 영향력 있는 특징이며, 이어 평균 ASR 점수와 도메인 인기도