[論文レビュー] Human Evaluation of Conversations is an Open Problem: comparing the sensitivity of various methods for evaluating dialogue agents

Eric M. Smith, Orion Hsu+4 more|arXiv (Cornell University)|Jan 12, 2022

Mobile Crowdsensing and Crowdsourcing被引用数 4

ひとこと要約

本稿では、会話エージェントのための5つのクラウドワーカーを活用した人間評価手法（対比較 vs. 単一モデル、1ターンごと vs. 1対話ごと）を評価し、どの手法も普遍的に優れているわけではないことが判明。代わりに、モデル比較の種別に応じて有効性が異なる。対比較1ターンごと評価は文脈的応答差を検出するのに優れており、対比較1対話ごと評価はグローバルで繊細なパターンの差を検出するのに優れている。研究では手法選択の実用的ガイドラインを提供し、感度を広く高めるために複数手法を組み合わせることを提案する。

ABSTRACT

At the heart of improving conversational AI is the open problem of how to evaluate conversations. Issues with automatic metrics are well known (Liu et al., 2016, arXiv:1603.08023), with human evaluations still considered the gold standard. Unfortunately, how to perform human evaluations is also an open problem: differing data collection methods have varying levels of human agreement and statistical sensitivity, resulting in differing amounts of human annotation hours and labor costs. In this work we compare five different crowdworker-based human evaluation methods and find that different methods are best depending on the types of models compared, with no clear winner across the board. While this highlights the open problems in the area, our analysis leads to advice of when to use which one, and possible future directions.

研究の動機と目的

• オープンドメイン会話エージェントのための最も感受性が高く信頼性の高い人間評価手法を特定すること。
• 5つの異なる人間評価手法が、会話モデル間の差を検出する能力においてどのように比較できるかを検証すること。
• 評価手法の選択が、統計的感度、アノテーション作業量、モデル比較の信頼性にどのように影響するかを特定すること。
• モデル比較の種別（例：ファイントーニング、サイズ、長さ）に応じた評価手法選定の実用的アドバイスを提供すること。
• 複数の評価手法を組み合わせることで、全体的な感度と効率性が向上する可能性を検討すること。

提案手法

• 5つの異なる手法（対比較1ターンごと、対比較1対話ごと、単一モデル1ターンごと、単一モデル1対話ごと、および対比較1ターンごとと1対話ごとのハイブリッド）を用いた人間評価を実施。
• クラウドワーカーを用いて、3つの異なるモデル比較シナリオ（長さ、サイズ、ファイントーニング）において、制御された環境下でモデル応答を評価。
• 統計的感度を測定するため、モデル比較で有意差を達成するのに要するアノテーション時間（時間単位）を推定。
• 複数手法のスコア（例：単一モデル1ターンごとと1対話ごとのスコアの平均化）を組み合わせ、ハイブリッド手法の性能を評価。
• アノテーターが記した説明文を分析し、各手法における解釈可能性と一貫性を評価。
• すべての評価手法のコードをParlAIフレームワークに公開し、再現可能性とコミュニティへの採用を促進。

実験結果

リサーチクエスチョン

• RQ1 さまざまな比較タイプにおいて、会話モデル間の差を検出するのに最も感受性が高い人間評価手法は何か？
• RQ2 1ターンごと評価と1対話ごと評価の手法は、会話長に伴うモデル性能の変化を検出する能力でどのように比較できるか？
• RQ3 特に繊細な差に対して、対比較評価は単一モデル評価よりも感度が向上する程度はどの程度か？
• RQ4 複数の評価手法を組み合わせることで、単一手法よりも優れた全体的な感度が得られるか？
• RQ5 アノテーション時間と労働コストは各手法でどのように異なるか。感度と効率性のトレードオフはどのようなものか？

主な発見

• 対比較1ターンごと評価は、特に異なるデータ分布で学習されたモデル間の応答適切性の差を検出するのに最も効果的である。
• 対比較1対話ごと評価は、複数ターンにわたって差が現れる場合（例：応答長、グローバルな一貫性パターン）に最も優れている。
• 単一モデル評価（1ターンごとおよび1対話ごと）は、繊細な差や文脈的差に対して感受性が低いが、非常に似たモデル（例：異なるパラメータサイズ）の比較では優れている。
• 対比較1ターンごとと対比較1対話ごと評価を1:5の比率で組み合わせることで、全体的な感度が向上し、両者の微細な差とグローバルな差をより効果的に捉えることができる。
• 単一モデル1ターンごとと1対話ごとのスコアを平均化することで、単一モデル1対話ごと評価のみと比較して感度が向上し、必要なアノテーション時間が短縮される。
• 有意差を達成するのに要する時間は、手法によって顕著に異なる。グローバルな差を検出するには対比較1対話ごと評価が最も効率的であり、文脈的応答品質の差を検出するには対比較1ターンごと評価がより効果的である。