[論文レビュー] Towards Standard Criteria for human evaluation of Chatbots: A Survey

Hongru Liang, Huaqing Li|arXiv (Cornell University)|May 24, 2021

AI in Service Interactions参考文献 121被引用数 10

ひとこと要約

本稿は、2016–2020年の105篇のNLP論文を調査した結果に基づき、チャットボットの人的評価のための5つの標準的で重複のない基準—可読性、関連性、一貫性、情報性、自然さ—を提案する。既存の基準における広範な誤用や曖昧さを特定し、これらの5つの基準が、タスク指向でない対話システムにおける人的評価の信頼性、包括性、再現可能性を高めるフレームワークを提供すると主張する。

ABSTRACT

Human evaluation is becoming a necessity to test the performance of Chatbots. However, off-the-shelf settings suffer the severe reliability and replication issues partly because of the extremely high diversity of criteria. It is high time to come up with standard criteria and exact definitions. To this end, we conduct a through investigation of 105 papers involving human evaluation for Chatbots. Deriving from this, we propose five standard criteria along with precise definitions.

研究の動機と目的

• タスク指向でないチャットボットの人的評価基準における標準化の欠如が信頼性と再現可能性を損なう問題に対処する。
• 2016–2020年の105篇の最近のNLP論文における評価基準の多様性と誤用を特定・分析する。
• 人的評価の一貫性と再現可能性を支援するため、明確で重複のない定義を提供する。
• チャットボットの応答品質のすべての重要な側面をカバーする最小限で包括的な5つのコア基準を提示する。
• 明確な操作的定義のない「全体的品質」「適切性」「十分性」などの曖昧または重複する基準を排除する。

提案手法

• 2016年から2020年までのトップクラスのNLP会議（ACL、EMNLP、NAACL、COLING、SIGDIAL、INLG）から105篇の論文を系統的に調査した。
• 辞書的定義と言語学的原則に基づき、27以上の異なる評価基準を7つの意味的グループに分類した。
• 公式なソース（DIC、ELO、CHAT）の定義を分析し、意味的一致性と操作的明確性を評価した。
• 「文法的正しさ」としての「流暢さ」の同一視など、重複・重複・誤用を特定し、曖昧または重複する用語を除外した。
• 比較的分析を通じて5つのコア基準（可読性、関連性、一貫性、情報性、自然さ）を選定した。
• 定義の非重複性と応答品質の次元を網羅するという観点から、最終選定を正当化した。

実験結果

リサーチクエスチョン

• RQ1 2016年から2020年の間、タスク指向でないチャットボット研究で最も頻繁に使用された人的評価基準は何か？
• RQ2 既存の基準は定義や使用法においてどのように変動し、現在の文献に広く見られる一貫性の欠如や誤用は何か？
• RQ3 どの基準が冗長で重複しているか、曖昧に定義されているか。それらが評価の信頼性を損なう理由は何か？
• RQ4 応答品質を冗長性を伴わずに包括的に評価するために必要な基準は何か？
• RQ5 明確で非重複する定義を持つ、標準的で最小限の基準セットを定義できるか？その基準セットが人的評価の再現性を向上させられるか？

主な発見

• 105篇の論文において27以上の異なる評価基準が同定され、使用頻度に著しいばらつきと最小限の重複が認められた。
• 「流暢さ」と「一貫性」は頻繁に誤用されており、特に「流暢さ」が「文法的正しさ」と同一視されることが多く、評価の一貫性を損なっていた。
• 「全体的品質」「適切性」「十分性」などの基準は、他の基準と重複しているか、あるいはそれらを包含しており、曖昧で冗長であることが判明した。
• 本研究では、5つの標準的で重複のない基準—可読性、関連性、一貫性、情報性、自然さ—を提案した。
• 「自然さ」は「人間が生成した応答の妥当性」と明確に定義できるため、「人間らしさ」と比較して好まれた。
• 「会話の魅力」や「興味の有無」などの基準は、マルチターン対話に依存するため、単一の応答からは信頼性を持って評価できないとして除外された。