[논문 리뷰] Domain-Independent turn-level Dialogue Quality Evaluation via User Satisfaction Estimation

Praveen Kumar Bodigutla, Longshaokan Wang외 5명|arXiv (Cornell University)|2019. 08. 19.

Speech and dialogue systems참고 문헌 9인용 수 7

한 줄 요약

이 논문은 새로운 응답 품질(RQ) 주석 체계와 다섯 가지 도메인에 관계없는 신규 특징을 사용하여 도메인 독립적이고 사용자 만족도 기반의 대화 품질 평가 프레임워크를 제안한다. 기울기 부스팅 회귀를 통해 예측된 만족도와 주석된 사용자 만족도 간에 높은 상관관계(r ≈ 0.79)를 달성하였으며, 추론 분석을 통한 유의미한 향상과 함께, 예측되지 않은 도메인으로의 일반화 성능도 뛰어나다(r ≈ 0.67).

ABSTRACT

An automated metric to evaluate dialogue quality is vital for optimizing data driven dialogue management. The common approach of relying on explicit user feedback during a conversation is intrusive and sparse. Current models to estimate user satisfaction use limited feature sets and rely on annotation schemes with low inter-rater reliability, limiting generalizability to conversations spanning multiple domains. To address these gaps, we created a new Response Quality annotation scheme, based on which we developed turn-level User Satisfaction metric. We introduced five new domain-independent feature sets and experimented with six machine learning models to estimate the new satisfaction metric. Using Response Quality annotation scheme, across randomly sampled single and multi-turn conversations from 26 domains, we achieved high inter-annotator agreement (Spearman's rho 0.94). The Response Quality labels were highly correlated (0.76) with explicit turn-level user ratings. Gradient boosting regression achieved best correlation of ~0.79 between predicted and annotated user satisfaction labels. Multi Layer Perceptron and Gradient Boosting regression models generalized to an unseen domain better (linear correlation 0.67) than other models. Finally, our ablation study verified that our novel features significantly improved model performance.

연구 동기 및 목표

• 침습적인 사용자 피드백을 피하면서도 스케일링 가능하고 도메인에 관계없는 턴 단위 대화 품질 평가 방법을 개발하기 위해.
• 기존 상호작용 품질(IQ) 주석 체계의 한계를 해결하기 위해, 이는 낮은 평가자 간 일致도와 도메인 간 일반화 능력 부족을 애초에 앓고 있다.
• 명시적인 사용자 만족도 평가와 높은 상관관계를 가지며 다중 도메인 평가를 지원하는 새로운 응답 품질(RQ) 주석 체계를 구축하기 위해.
• 사용자 재표현, 응답의 일관성, 대화 내 주제 다양성, 실행 불가능한 요청, 주제 인기도를 캡처하는 다섯 가지 새로운 도메인 독립적 특징을 설계하기 위해.
• 높은 정확도와 예측되지 않은 도메인으로의 일반화 능력을 갖춘 연속적인 사용자 만족도 평가 점수를 예측하는 기계학습 모델을 훈련하고 평가하기 위해.

제안 방법

• 세 명의 주석자가 목표 달성도를 기반으로 각 대화 턴을 1~5점 척도로 평가하는 새로운 응답 품질(RQ) 주석 체계를 도입하였으며, 평균을 취해 연속적인 타겟을 생성하였다.
• 사용자 재표현 탐지, 시스템-응답 일관성, 대화 내 주제 다양성, 실행 불가능한 사용자 요청, 사용 통계에서 유도된 총 주제 인기도를 포함한 다섯 가지 새로운 특징 세트를 설계하였다.
• 주석된 데이터를 기반으로 LASSO, 의사결정트리, 랜덤 포레스트, 기울기 부스팅, 다층 퍼셉트론, 서포트 벡터 회귀기 등 총 여섯 가지 기계학습 모델을 훈련시어 연속적인 사용자 만족도 점수를 예측하였다.
• 피어슨 상관계수(r)와 불만족스러운 턴에 대한 F-스코어를 평가 지표로 사용하였으며, 특징 중요도와 영향도를 평가하기 위해 추론 분석을 실시하였다.
• 모델의 해석 가능성 기법을 활용하여 특징의 중요도 순으로 정렬하고 성능 기여도를 검증하였다.
• 모델의 도메인 간 일반화 능력을 테스트하기 위해 하나의 예측되지 않은 다중 턴 애슬라 스킬을 제외하여 제로샷 일반화 평가를 실시하였다.

실험 결과

연구 질문

• RQ1 명시적인 사용자 만족도 평가와 높은 상관관계를 가지는 새로운 주석 체계를 사용하여 도메인에 관계없는 대화 품질 평가 프레임워크를 구축할 수 있는가?
• RQ2 제안된 다섯 가지 새로운 도메인 독립적 특징은 기존 특징 대비 사용자 만족도 추정 모델의 성능을 얼마나 향상시키는가?
• RQ3 턴 단위 사용자 만족도 예측에서 어떤 기계학습 모델이 예측되지 않은 도메인으로 가장 잘 일반화되는가?
• RQ4 새로운 특징은 특히 예측되지 않은 도메인에서 제로샷 설정에서 모델 성능을 얼마나 향상시키는가?
• RQ5 제안된 사용자 만족도 추정(USE) 메트릭은 강화학습 기반 대화 정책 최적화에서 보상 모델링을 위한 실용적인 대안이 될 수 있는가?

주요 결과

• RQ 주석 체계는 스피어만의 ρ가 0.94에 도달하여 높은 평가자 간 일致도를 보이며 강력한 신뢰성을 입증하였다.
• RQ 평가 점수는 명시적인 턴 단위 사용자 만족도 평가와 높은 상관관계(r = 0.76)를 보이며, 이를 효과적인 대체 지표로 활용할 수 있음을 검증하였다.
• 기울기 부스팅 회귀 모델이 본 도메인에서 최고의 성능을 보였으며, 예측된 만족도 점수와 주석된 점수 간 상관계수 r ≈ 0.79를 기록하였다.
• 예측되지 않은 다중 턴 스킬에서 기울기 부스팅과 다층 퍼셉트론 모델이 각각 r ≈ 0.67의 상관계수를 기록하여 다른 모델들을 압도하며 강력한 일반화 능력을 입증하였다.
• 추론 분석 결과, '총 주제 인기도' 특징은 단일 턴 도메인에서 상관계수를 약 7% 향상시켰으며, '실행 불가능한 요청' 특징은 예측되지 않은 스킬에서 약 35%의 상대적 향상 기여를 하였다.
• 다섯 가지 새로운 특징 세트는 기울기 부스팅 모델에서 상위 10개 이내의 가장 중요한 특징으로 순위 매겨져 예측 성능 향상에 기여한 바가 크다는 점을 확인하였다.