[論文レビュー] The Challenges of Evaluating LLM Applications: An Analysis of Automated, Human, and LLM-Based Approaches

Bhashithe Abeysinghe, Ruhan Circi|arXiv (Cornell University)|Jun 5, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

本稿では、LLM駆動のチャットボットを評価するための3つのアプローチ——自動評価指標、人間評価、LLMベースの評価——を評価し、応答品質に関する洞察を高めるために要因分解型評価フレームワークを導入する。結果から、要因ベースの評価は標準的手法に比べてより洗練された欠陥の特定が可能であることが示され、人間評価が依然としてゴールドスタンダードである一方、LLMベースの評価は信頼性に欠け、特に同じモデルが自身の出力を評価する場合に顕著であることが判明した。

ABSTRACT

Chatbots have been an interesting application of natural language generation since its inception. With novel transformer based Generative AI methods, building chatbots have become trivial. Chatbots which are targeted at specific domains for example medicine and psychology are implemented rapidly. This however, should not distract from the need to evaluate the chatbot responses. Especially because the natural language generation community does not entirely agree upon how to effectively evaluate such applications. With this work we discuss the issue further with the increasingly popular LLM based evaluations and how they correlate with human evaluations. Additionally, we introduce a comprehensive factored evaluation mechanism that can be utilized in conjunction with both human and LLM-based evaluations. We present the results of an experimental evaluation conducted using this scheme in one of our chatbot implementations which consumed educational reports, and subsequently compare automated, traditional human evaluation, factored human evaluation, and factored LLM evaluation. Results show that factor based evaluation produces better insights on which aspects need to be improved in LLM applications and further strengthens the argument to use human evaluation in critical spaces where main functionality is not direct retrieval.

研究の動機と目的

• 自動的・人間的・LLMベースの評価手法におけるLLM駆動のチャットボットアプリケーションの評価に関する課題と一貫性の欠如を調査すること。
• 教育などのドメイン特化型環境を含め、LLMアプリケーションの評価基準と指標についての合意形成の欠如に対処すること。
• 応答品質を正確性・明確性・トーンなどの細分化された次元に分解する要因分解型評価メカニズムを提案・検証し、より正確な評価を可能にすること。
• 自動的指標（例：BLEURT）、従来の人間評価、要因分解型人間評価、LLMベースの評価の間で、信頼性・一貫性・相関関係を比較すること。
• LLMベースの評価者、特に同じモデルが自身の出力を評価する場合の限界を強調し、検索以外の重要なタスクでは人間評価を推奨すること。

提案手法

• 正確性・完全性・明確性・トーン・読みやすさなどの異なる次元に応答品質を分解する要因分解型評価フレームワークを開発した。
• 教育レポートを処理するRAGベースの教育用チャットボット（EdTalk）にこのフレームワークを適用し、人間評価者とLLMベースの評価者を用いた。
• 人間評価を2つのグループで実施：ドメイン専門家（エキスパート）と非専門家（ノンエキスパート）、ブルームの taxonomy に従った異なる質問タイプを対象に評価した。
• 定量的比較のための自動的指標（BLEURT）を用い、評価タイプ間での一貫性と評価者間信頼性を評価した。
• GPT-3.5を出力生成と評価の両方の目的に使用し、LLMによる自己評価の信頼性をテストした。
• CohenのKappaを用いた評価者間信頼性分析を行い、要因および評価者タイプごとの合意度を報告した。

Figure 1: Median of Likert scale ratings of each evaluator. Each spoke shows how an evaluator rated a response based on the question type from Blooms Taxonomy.

実験結果

リサーチクエスチョン

• RQ1 自動的指標、人間評価、LLMベースの評価が、LLMチャットボットの応答をどの程度相関して評価するか？
• RQ2 要因分解型人間評価は、標準的人間評価や自動的評価に比べて、より実行可能な洞察をどれほど提供するか？
• RQ3 評価者専門性（エキスパート対ノンエキスパート）は、応答スコアと評価者間合意度にどのように影響するか？
• RQ4 同じモデルが応答を生成し、自身を評価する場合、LLMベースの評価はどの程度信頼できるか？
• RQ5 現在の評価手法は、LLMアプリケーションにおける洗練された品質問題をどの程度正しく捉えられていないか？

主な発見

• 要因ベースの評価は、正確性や明確性における特定の弱みを特定する点で、標準的手法よりもはるかに洗練された詳細な洞察を提供した。
• 評価者間信頼性は明確性に関してのみ中程度であり、他の全要因に関しては低く、人間評価者間の大きな合意の欠如、特にノンエキスパートの間で顕著であった。
• LLMベースの評価は応答に対して高い自己信頼を示したが、人間評価と相関が低く、特に同じモデルが自身の出力を評価する場合に顕著であった。
• BLEURTなどの自動的指標は人間評価と類似した傾向を示したが、ノンエキスパート評価者を含む場合には細部を捉えられず、一般化可能性に限界があった。
• エキスパートは常にノンエキスパートよりも厳しいスコアを付け、評価者専門性が評価結果に与える影響が顕著に現れた。
• 自動的評価・人間評価・LLMベースの評価の結果間に最小限の相関が認められ、どの1つの手法でも信頼できる評価に十分ではないことが示された。

Figure 2: Screen capture of the EdTalk chatbot answering a question