[論文レビュー] A Critical Evaluation of Evaluations for Long-form Question Answering

Fangyuan Xu, Yixiao Song+2 more|arXiv (Cornell University)|May 29, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、人間の専門家による判断と自動評価指標を比較することで、長文質問応答（LFQA）の最初の包括的評価を提示する。既存の自動指標が人間の好みを信頼性高く予測しないことが判明したが、一貫性や事実性といった微細な側面とはある程度相関している。これにより、総合スコアではなく、特定の回答品質要因に焦点を当てた多面的評価の重要性が主張される。著者らは、今後のLFQA評価研究を進めるために、専門家がアノテートしたデータとコードを公開する。

ABSTRACT

Long-form question answering (LFQA) enables answering a wide range of questions, but its flexibility poses enormous challenges for evaluation. We perform the first targeted study of the evaluation of long-form answers, covering both human and automatic evaluation practices. We hire domain experts in seven areas to provide preference judgments over pairs of answers, along with free-form justifications for their choices. We present a careful analysis of experts' evaluation, which focuses on new aspects such as the comprehensiveness of the answer. Next, we examine automatic text generation metrics, finding that no existing metrics are predictive of human preference judgments. However, some metrics correlate with fine-grained aspects of answers (e.g., coherence). We encourage future work to move away from a single "overall score" of the answer and adopt a multi-faceted evaluation, targeting aspects such as factuality and completeness. We publicly release all of our annotations and code to spur future work into LFQA evaluation.

研究の動機と目的

• 長文質問応答（LFQA）の現在の評価手法の信頼性と妥当性を調査すること。
• 既存の自動テキスト生成指標が、LFQA回答の人の好みの判断とどの程度相関しているかを評価すること。
• 専門家が表面的特徴よりも重視する品質次元（例：事実性、包括性、一貫性）を特定すること。
• 総合スコアの評価から、特定の回答品質に焦点を当てた多面的評価フレームワークへの移行を提唱すること。
• 今後のLFQA評価研究を支援するため、260件の好みの判断とその根拠を含む新しい専門家アノテート済みデータセットを公開すること。

提案手法

• 生物学、経済学など7分野のドメイン専門家を雇い、LFQA回答のペアワイズ好みの判断を実施し、詳細な根拠を提示した。
• 260件の専門家評価を含む140組の回答ペアを収集し、事実性、包括性、一貫性、その他の微細な側面に注目したアノテーションを実施した。
• ROUGE、QAFactEval、RankGenなど12種類の既存自動指標について、全体的な品質と特定の側面における人間の判断との相関を評価した。
• 名前付きエンティティ認識、質問生成、回答検証、類似度スコアリングを組み合わせたパイプラインを用い、微調整されたBARTおよびElectraモデルを活用して、学習された指標（LERC）を訓練した。
• 少数の例（2例）を提示し、温度サンプリングを用いたコンテキスト内学習により、GPT-3 text-davinci-003を用いた少数例評価のパイロットテストを実施した。
• 段階的な評価パイプラインを用いた：（1）ソースから回答を抽出、（2）質問を生成、（3）回答を検証、（4）学習された指標を用いて類似度スコアを計算。

実験結果

リサーチクエスチョン

• RQ1 専門家の評価とクラウドワーカーの評価は、評価基準においてどのように異なるか？
• RQ2 回答品質のどの側面（例：事実性、包括性、一貫性）が専門家の好みの判断において最も決定的か？
• RQ3 既存の自動指標が、LFQA回答の人の好みの判断とどの程度相関しているか？
• RQ4 学習された指標は、人の好みの判断を効果的に予測できるか、それとも品質の一部の側面しか捉えていないか？
• RQ5 LFQA回答の評価に総合スコアを用いる際の限界は何か？より効果的な代替案は何か？

主な発見

• 専門家は、簡潔さといった表面的特徴よりも、事実性と包括性を重視し、微細な側面に対する評価の違いにより、しばしば意見が分かれる。
• 既存の自動指標のうち、人間の好みの判断と全体的な回答品質に関して信頼性を持って相関するものは存在しない。これは、現在の評価手法における大きなギャップを示している。
• QAFactEval や RankGen などの指標は、忠実性や一貫性といった微細な側面と中程度の相関を示しており、特定の指標開発の可能性を示唆している。
• 本研究は、専門家ですらも、LFQAにおける回答品質の定義が極めて複雑であることを示しており、著者らは人間の評価者でさえも顕著な不一致を示すことを明らかにした。
• 260件の専門家がアノテートした回答ペアとその根拠を含む新しいデータセットを公開した。これは、今後のLFQA評価研究のベンチマークとして活用可能である。
• パイロット結果から、GPT-3は少数例設定において高い一貫性と中程度の人の好みとの整合性を達成しているが、さらなる検証が必要である。