[논문 리뷰] On Evaluating and Comparing Open Domain Dialog Systems

Anu Venkatesh, Chandra Khatri외 11명|arXiv (Cornell University)|2018. 01. 11.

Topic Modeling참고 문헌 24인용 수 24

한 줄 요약

이 논문은 개방형 도메인 대화 에이전트를 평가하기 위해 통합된 다중 지표 평가 프레임워크를 제안하며, 일관성, 참여도, 주제 다양성, 도메인 커버리지, 대화의 깊이 등을 조합하여 인간 평가의 주관성을 줄인다. 통합 지표는 인간 평가와 강한 상관관계를 보이며(r = 0.66 사용자 평가와, r = 0.70 자주 사용자 평가와), 애자크 프라이즈 경쟁과 같은 실제 환경에서 사회봇의 대규모 평가를 위한 신뢰할 수 있는 대체 지표로 입증된다.

ABSTRACT

Conversational agents are exploding in popularity. However, much work remains in the area of non goal-oriented conversations, despite significant growth in research interest over recent years. To advance the state of the art in conversational AI, Amazon launched the Alexa Prize, a 2.5-million dollar university competition where sixteen selected university teams built conversational agents to deliver the best social conversational experience. Alexa Prize provided the academic community with the unique opportunity to perform research with a live system used by millions of users. The subjectivity associated with evaluating conversations is key element underlying the challenge of building non-goal oriented dialogue systems. In this paper, we propose a comprehensive evaluation strategy with multiple metrics designed to reduce subjectivity by selecting metrics which correlate well with human judgement. The proposed metrics provide granular analysis of the conversational agents, which is not captured in human ratings. We show that these metrics can be used as a reasonable proxy for human judgment. We provide a mechanism to unify the metrics for selecting the top performing agents, which has also been applied throughout the Alexa Prize competition. To our knowledge, to date it is the largest setting for evaluating agents with millions of conversations and hundreds of thousands of ratings from users. We believe that this work is a step towards an automatic evaluation process for conversational AIs.

연구 동기 및 목표

• 대화 품질 평가의 주관성으로 인해 개방형 도메인 대화 에이전트에 대한 객관적이고 확장 가능한 평가 방법이 부족한 문제를 해결하기 위해.
• 인간 평가와 잘 상관관계를 가지는 자동화된 지표 세트를 개발하기 위해.
• 여러 세분화된 지표를 하나의 비교 가능한 점수로 통합하여 대규모 프로덕션 환경에서 사회봇의 순위 매기기와 비교를 가능하게 하기 위해.
• 기계 학습을 통해 사용자 평가를 자동 예측함으로써 높은 비용이 드는 인간 평가에 대한 의존도를 줄이기 위해.
• 애자크 프라이즈 경쟁에서 발생한 수백만 건의 실제 사용자 상호작용 데이터를 활용하여 대화형 AI 평가의 기준을 설정하기 위해.

제안 방법

• 대화 사용자 경험, 일관성, 참여도, 도메인 커버리지, 주제 깊이, 주제 다양성 등을 포함한 다중 지표 평가 프레임워크를 설계하기 위해.
• 애자크 프라이즈 경쟁 기간 동안 애자크 사용자들로부터 수집한 100만 건 이상의 실제 대화와 수십만 건의 사용자 평가를 수집하고 분석하기 위해.
• 자동 지표와 인간 평가 간의 일치를 검증하기 위해 통계적 상관관계 분석(Pearson 및 Spearman)을 사용하기 위해.
• 다양한 에이전트 간 비교를 가능하게 하기 위해 가중치가 부여된 집계 전략을 사용하여 개별 지표를 하나의 복합 점수로 통합하기 위해.
• 60,000건의 대화 데이터 기반으로 기계 학습 모델을 훈련하여 사용자 평가를 예측하기 위해, 주제 및 일관성 지표를 포함한 대화 수준의 특징을 사용하기 위해.
• 향후 자동 평가 예측 모델의 성능 향상을 위해 사용자 수준의 특징과 주제 표현을 잠재적 입력으로 활용하기 위해.

실험 결과

연구 질문

• RQ1 개방형 도메인 대화 에이전트 평가의 주관성을 줄이기 위해 자동 지표를 설계할 수 있는가?
• RQ2 제안된 지표들(일관성, 참여도, 주제 다양성 등)이 실제 대화에서 인간 평가와 강하게 상관관계를 가지는가?
• RQ3 통합 지표가 인간 사용자 평가의 순서를 반영하는 방식으로 대화 에이전트를 효과적으로 순위 매길 수 있는가?
• RQ4 기계 학습 모델이 대화 수준의 특징을 기반으로 인간 사용자 평가를 어느 정도 정확하게 예측할 수 있는가?
• RQ5 수백만 건의 대화에 대해 평가 프레임워크를 확장해도 신뢰성과 타당성을 유지할 수 있는가?

주요 결과

• 통합 평가 지표는 총 사용자 평가와 0.66, 자주 사용자 평가와 0.70의 강한 상관관계를 보이며, 인간 평가의 대체 지표로서의 신뢰성을 입증한다.
• 제안된 지표들인 일관성, 참여도, 주제 다양성, 도메인 커버리지, 주제 깊이 등은 인간 평가만으로는 반영되지 않는 대화 품질의 세분화된 측면을 포괄한다.
• 기계 학습 모델로 사용된 기울기 부스팅 결정 트리(GBDT) 모델은 60,000건의 대화 데이터 기반으로 인간 평가와 스피어만 상관계수 0.352, 피어슨 상관계수 0.351를 기록하여 무작위 선택보다 뚜렷이 뛰어난 성능을 보였다.
• 본 연구는 현재까지 알려진 바에서 가장 큰 규모의 대화 에이전트 평가를 바탕으로 하며, 실제 애자크 사용자들로부터 수집한 100만 건 이상의 대화와 수십만 건의 사용자 평가를 포함한다.
• 더 큰 데이터셋과 사용자 수준의 특징을 포함할 경우 자동 평가 예측 모델의 정확도가 상당히 향상될 수 있음을 시사한다.
• 이 프레임워크는 현재 애자크 프라이즈 경쟁에서 사회봇의 순위 매기기 및 비교에 실질적으로 활용되고 있어 실제 환경에서의 확장성과 유용성을 입증하고 있다.