[논문 리뷰] Towards Standard Criteria for human evaluation of Chatbots: A Survey

Hongru Liang, Huaqing Li|arXiv (Cornell University)|2021. 05. 24.

AI in Service Interactions참고 문헌 121인용 수 10

한 줄 요약

이 논문은 2016~2020년도 105篇의 NLP 논문을 대상으로 한 설문 조사 기반으로, 비작업 지향 대화 시스템에서의 인간 평가를 위한 다섯 가지 표준화되고 상호 겹치지 않는 기준—가독성, 관련성, 일관성, 정보성, 자연스러움—을 제안한다. 기존 기준들의 광범위한 오용 및 모호성 문제를 지적하며, 이러한 다섯 가지 기준이 신뢰성 있고 종합적이며 재현 가능한 인간 평가 프레임워크를 제공한다고 주장한다.

ABSTRACT

Human evaluation is becoming a necessity to test the performance of Chatbots. However, off-the-shelf settings suffer the severe reliability and replication issues partly because of the extremely high diversity of criteria. It is high time to come up with standard criteria and exact definitions. To this end, we conduct a through investigation of 105 papers involving human evaluation for Chatbots. Deriving from this, we propose five standard criteria along with precise definitions.

연구 동기 및 목표

• 비작업 지향 대화 시스템에서의 인간 평가 기준에 대한 표준화 부족 문제를 해결하여 신뢰성과 재현 가능성을 향상시키기 위해.
• 2016~2020년도 최근 105편의 NLP 논문을 대상으로 평가 기준의 높은 다양성과 오용 현상을 규명하고 분석하기 위해.
• 평가 기준의 정의를 명확하고 상호 겹치지 않게 정의하여 일관되고 재현 가능한 인간 평가를 지원하기 위해.
• 대화 응답 품질의 모든 핵심 요소를 커버하는 최소한이면서 종합적인 다섯 가지 핵심 기준을 제안하기 위해.
• 명확한 운영 정의가 없는 '전반적 품질', '적절성', '충분성'과 같은 모호하거나 겹치는 기준을 제거하기 위해.

제안 방법

• 2016년부터 2020년까지 주요 NLP 학회(ACL, EMNLP, NAACL, COLING, SIGDIAL, INLG)에서 발표된 105편의 논문을 체계적으로 조사하였다.
• 사전 정의와 언어학 원칙을 기반으로 27개 이상의 다른 평가 기준을 일곱 개의 의미적 그룹으로 분류하였다.
• 권위 있는 자료원(DIC, ELO, CHAT)의 정의를 분석하여 의미 일관성과 운영 명확성을 평가하였다.
• 중복성, 겹침, 오용 여부를 평가하였으며, 예를 들어 '유창성'을 '문법성'과 동일시하는 등 오용 사례를 확인하고, 모호하거나 겹치는 용어는 제외하였다.
• 비교 분석을 통해 다섯 가지 핵심 기준—가독성, 관련성, 일관성, 정보성, 자연스러움—을 선정하였다.
• 정의의 상호 겹침이 없고 응답 품질의 차원을 종합적으로 커버한다는 점을 입증함으로써 최종 선택을 정당화하였다.

실험 결과

연구 질문

• RQ1 2016~2020년도 비작업 지향 대화 시스템 연구에서 가장 흔하게 사용된 인간 평가 기준은 무엇인가?
• RQ2 기존 기준들은 정의와 사용 방식에서 어떻게 다름지? 현재 문헌에서 널리 퍼져 있는 일관성 부족이나 오용은 어떤가?
• RQ3 어느 기준들이 중복되거나 겹치거나 모호하게 정의되어 있으며, 이러한 문제들이 평가의 신뢰성에 어떻게 악영향을 미치는가?
• RQ4 응답 품질을 중복 없이 종합적으로 평가하기 위해 필요한 최소한의 기준은 무엇인가?
• RQ5 명확하고 상호 겹치지 않는 정의를 가진 표준화된 최소 기준 세트를 정의할 수 있으며, 이를 통해 인간 평가의 재현 가능성을 향상시킬 수 있는가?

주요 결과

• 105편의 논문에서 27개 이상의 서로 다른 평가 기준이 확인되었으며, 사용 범위가 다양하고 상호 겹침이 극히 적었다.
• '유창성'과 '일관성' 같은 기준은 자주 오용되었다. 예를 들어 '유창성'은 종종 '문법성'을 의미하는 것으로 사용되어 평가의 일관성을 해쳤다.
• '전반적 품질', '적절성', '충분성'과 같은 기준들은 너무 모호하고 중복되어, 다른 기준들과 겹치거나 포함되는 경향이 있었다.
• 본 연구는 다섯 가지 표준화되고 상호 겹치지 않는 기준—가독성, 관련성, 일관성, 정보성, 자연스러움—을 제안한다.
• 이 중에서 '자연스러움'은 '인간이 생성한 응답의 타당성'으로 명확하게 정의될 수 있기 때문에 '인간다움'보다 우선시되었다.
• '매력성'과 '흥미로움' 같은 기준들은 다회화 상호작용에 의존하므로 단일 응답으로는 신뢰성 있게 평가할 수 없어 제외되었다.