[논문 리뷰] On Evaluating and Comparing Conversational Agents

Anu Venkatesh, Chandra Khatri외 11명|arXiv (Cornell University)|2018. 01. 11.

Topic Modeling참고 문헌 20인용 수 50

한 줄 요약

이 논문은 비목표 지향 대화 에이전트에 대한 종합적이고 다중 지표 평가 프레임워크를 제안하며, 인간 평가와 강하게 상관되는 지표를 사용하여 주관성을 줄입니다. 애슬라 프라이즈 경쟁에서 적용된 결과, 수백만 건의 대화를 대상으로 자동으로 세밀한 평가가 가능해져 인간 평가의 신뢰할 수 있는 대체 수 Mittel이 됩니다.

ABSTRACT

Conversational agents are exploding in popularity. However, much work remains in the area of non goal-oriented conversations, despite significant growth in research interest over recent years. To advance the state of the art in conversational AI, Amazon launched the Alexa Prize, a 2.5-million dollar university competition where sixteen selected university teams built conversational agents to deliver the best social conversational experience. Alexa Prize provided the academic community with the unique opportunity to perform research with a live system used by millions of users. The subjectivity associated with evaluating conversations is key element underlying the challenge of building non-goal oriented dialogue systems. In this paper, we propose a comprehensive evaluation strategy with multiple metrics designed to reduce subjectivity by selecting metrics which correlate well with human judgement. The proposed metrics provide granular analysis of the conversational agents, which is not captured in human ratings. We show that these metrics can be used as a reasonable proxy for human judgment. We provide a mechanism to unify the metrics for selecting the top performing agents, which has also been applied throughout the Alexa Prize competition. To our knowledge, to date it is the largest setting for evaluating agents with millions of conversations and hundreds of thousands of ratings from users. We believe that this work is a step towards an automatic evaluation process for conversational AIs.

연구 동기 및 목표

• 비목표 지향 대화 시스템에서의 주관적 평가 문제에 대응하여 대화형 AI 발전을 저해하는 요소를 제거합니다.
• 인간 평가에 의존하는 것의 정도를 줄이면서도 인간 선호도와의 일치를 유지하는 객관적이고 자동화된 평가 전략을 개발합니다.
• 다양한 대화 품질 측면을 반영하는 지표를 활용해 대화 에이전트의 세밀하고 확장 가능한 분석을 가능하게 합니다.
• 실제 대규모 환경에서 적용 가능한 통합 메커니즘을 제공하여 상위 성능을 내는 에이전트를 객관적 지표 기반으로 순위 매깁니다.
• 수백만 명의 사용자 상호작용을 포함한 대규모 실세계 배포를 통해 대화형 AI의 자동 평가 기술을 발전시킵니다.

제안 방법

• 대화 품질 평가에서 인간 평가와 높은 상관관계를 보이는 자동화된 지표 세트를 설계하며, 일관성, 관련성, 참여도에 중점을 둡니다.
• 인간 평가 점수를 예측할 수 있는 능력에 기반해 지표를 선별하여, 주관적인 대화 특성을 객관적으로 반영할 수 있도록 합니다.
• 애슬라 프라이즈 경쟁 기간 동안 수집한 수백만 건의 실제 사용자 상호작용을 바탕으로 대화 에이전트를 분석하기 위해 지표를 적용합니다.
• 다양한 지표를 통합하여 단일 해석 가능한 점수로 만드는 가중치 기반 집계 메커니즘을 사용합니다.
• 다양한 유형의 대화에서 지표 점수가 인간 라벨링 점수와 강하게 상관됨을 입증함으로써 프레임워크의 타당성을 검증합니다.
• 애슬라 프라이즈의 대규모 데이터셋을 활용해 평가 방법의 강건성과 일반화 능력을 확보합니다.

실험 결과

연구 질문

• RQ1 자동화된 지표가 비목표 지향 대화 평가에서 인간 평가의 신뢰할 수 있는 대체 수 Mittel이 될 수 있는가?
• RQ2 어떤 특정 지표가 대화 품질에 대한 인간-라벨링 점수와 가장 높은 상관관계를 보이는가?
• RQ3 여러 지표를 어떻게 통합하여 통합적이고 실천 가능한 대화 에이전트 순위를 만들 수 있는가?
• RQ4 제안된 평가 프레임워크는 집계된 인간 평가 점수를 넘어서 세밀하고 확장 가능한 분석을 얼마나 잘 가능하게 하는가?
• RQ5 이 프레임워크는 수백만 명의 사용자 상호작용을 포함한 실세계 대규모 배포 환경에서 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 다중 지표 프레임워크는 인간 평가와 강한 상관관계를 보이며, 인간 평가의 신뢰할 수 있는 대체 수 Mittel임을 입증합니다.
• 이 프레임워크는 집계된 인간 평가 점수에 반영되지 않은 세부적인 특징까지도 포착할 수 있어 대화 에이전트의 세밀한 분석이 가능합니다.
• 평가 전략은 애슬라 프라이즈 경쟁 전반에 걸쳐 성공적으로 적용되어 상위 성능을 내는 에이전트 선정을 지원했습니다.
• 시스템은 수백만 건의 실제 사용자 대화와 수십만 건의 인간 평가 점수를 처리했으며, 이는 현재까지 알려진 바에서 가장 큰 평가 환경입니다.
• 통합 지표 집계 메커니즘이 인간 선호도와 일치하는 방식으로 에이전트를 순위 매기며, 확장 가능하고 객관적인 모델 비교를 가능하게 했습니다.
• 결과적으로 이는 대화형 AI 시스템의 완전 자동화된 대규모 평가로 향하는 실현 가능한 길을 제시합니다.