[논문 리뷰] An Evaluation Protocol for Generative Conversational Systems

Seolhwa Lee, Heuiseok Lim외 1명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 47인용 수 4

한 줄 요약

이 논문은 ChatEval 플랫폼를 통해 헤드-투-헤드 A/B 쌍대 비교를 통한 생성형 대화 시스템에 대한 표준화된 평가 프로토콜을 제안한다. 인간 평가를 활용해 다섯 개의 데이터셋에서 열 개의 최신 모델을 평가하였으며, Bradley-Terry 및 TrueSkill 순위 분석 방법을 적용하여 DialoGPT와 Blender가 다른 모델들보다 뛰어난 성능을 보임을 입증하였다. 이는 공개된 코드와 데이터를 통해 접근 가능하고 재현 가능한 평가 프로토콜임을 보여준다.

ABSTRACT

There is a multitude of novel generative models for open-domain conversational systems; however, there is no systematic evaluation of different systems. Systematic comparisons require consistency in experimental design, evaluation sets, conversational systems and their outputs, and statistical analysis. We lay out a protocol for the evaluation of conversational models using head-to-head pairwise comparison. We analyze ten recent models that claim state-of-the-art performance using a paired head-to-head performance (win-loss-tie) on five evaluation datasets. Our findings show that DialoGPT and Blender are superior systems using Bradley-Terry model and TrueSkill ranking methods. These findings demonstrate the feasibility of our protocol to evaluate conversational agents and evaluation sets. Finally, we make all code and evaluations publicly available for researchers to compare their model to other state-of-the-art dialog models.

연구 동기 및 목표

• 실험 설계, 평가 세트, 통계적 방법의 일관성 부족으로 인해 생성형 대화 시스템 분야에서 체계적이고 일관된 평가가 부족한 문제를 해결하기 위해.
• 동일한 데이터셋, 설정, 통계 분석 방법을 사용하여 공정성과 비교 가능성 보장이 가능한 재현 가능한 평가 프로토콜을 수립하기 위해.
• 아마존 메카니컬 터크의 인간 평가자들을 활용하여 A/B 쌍대 테스트 방식으로 최신 모델 간 직접적인 헤드-투-헤드 비교를 가능하게 하기 위해.
• 향후 새로운 대화 모델의 벤치마킹을 지원하기 위해 공개된 코드베이스와 평가 프레임워크를 제공하기 위해.

제안 방법

• 아마존 메카니컬 터크의 인간 평가자들을 활용하여 동일한 대화 맥락에서 두 모델의 응답을 대조하는 ChatEval A/B 쌍대 테스트 프레임워크를 활용한다.
• DBDC, 트위터, 코넬 영화, ESL 데이터셋으로부터 단일 터닝 및 다중 터닝 대화를 포함한 일관된 평가 데이터셋을 사용하는 표준화된 실험 설계를 적용한다.
• 모델 쌍 간 승리/패배/무승부 점수를 계산하고, 상대적 성능 평가를 위한 주요 점수 및 고유 점수를 산출한다.
• 쌍대 비교로부터 전체 시스템 순위를 도출하기 위해 Bradley-Terry 및 TrueSkill 통계 순위 모델을 적용한다.
• 모델 간 성능 차이의 통계적 유의성을 평가하기 위해 대응 t-검정의 p-값을 사용한다.
• 모든 평가 데이터, 코드, 결과물을 재현 가능성과 향후 벤치마킹을 위해 공개한다.

실험 결과

연구 질문

• RQ1 표준화된 헤드-투-헤드 쌍대 평가 프로토콜이 생성형 대화 모델 간 비교의 일관성과 공정성을 향상시킬 수 있는가?
• RQ2 DialoGPT와 Blender와 같은 최신 모델들이 다양한 대화 데이터셋에서 상대적으로 어떻게 순위가 매겨지는가?
• RQ3 다양한 평가 지표(예: 승패무, 주요 점수, 고유 점수)와 통계 모델(Bradley-Terry, TrueSkill)이 일관된 시스템 순위를 도출하는 데 얼마나 기여하는가?
• RQ4 다수의 모델에 대한 대규모 인간 평가를 수행하는 데 있어 제안된 평가 프로토콜은 확장 가능하고 비용 효율적인가?
• RQ5 인간 평가의 본질적 주관성에도 불구하고, 이 프로토콜은 모델 간 의미 있는 성능 차이를 탐지할 수 있는가?

주요 결과

• DialoGPT와 Blender(2.7B)는 모든 평가 데이터셋에서 가장 높은 승률을 기록하였으며, 평균적으로 DialoGPT는 46%의 비교에서 승리하고 Blender는 47%의 비교에서 승리하였다.
• DBDC 데이터셋에서 Blender(2.7B)는 DialoGPT에 대해 41%의 승률을 기록했고, DialoGPT는 32%의 승률과 36%의 무승부를 기록하여 강력한 성능 일관성을 보였다.
• Bradley-Terry 모델과 TrueSkill 순위 방법 모두 DialoGPT와 Blender를 상위 두 개 시스템으로 순위 매겨, 순위 결과의 강건성을 확인하였다.
• 주요 비교 사례에서 통계적 검정력이 입증되었으며, 예를 들어 트위터 데이터셋에서 DialoGPT 대 ConvAI2(seq2seq)의 p-값은 0.0이었고, ESL 데이터셋에서 ConvAI2(KV-MemNN) 대 ParlAI(Controllable)의 p-값은 0.01이었다.
• ESL 3턴 대화 데이터셋에서 인간의 응답은 58~66%의 비교에서 선호되었으며, 이는 인간과 모델 간 성능 격차를 시사한다.
• 모든 크라우드소싱 실험의 총 비용은 약 $1,300이었으며, 이는 대규모 쌍대 평가가 실현 가능하고 비용 효율적임을 보여준다.