[論文レビュー] Rethinking Model Evaluation as Narrowing the Socio-Technical Gap

Q. Vera Liao, Ziang Xiao|arXiv (Cornell University)|Jun 1, 2023

Topic Modeling被引用数 7

ひとこと要約

この論文は、大規模言語モデル（LLMs）の評価を、技術的能力と現実世界の人間のニーズの間の社会的・技術的ギャップを埋める手段として再定義する。技術的性能と現実世界の人間のニーズを一致させるために、文脈的・人間中心の要件の現実性に基づいた評価手法を提唱し、HCIとXAIの知見を統合して、実用性と妥当性の両立を図る多様で文脈に適応した評価フレームワークを構築する。

ABSTRACT

The recent development of generative large language models (LLMs) poses new challenges for model evaluation that the research community and industry have been grappling with. While the versatile capabilities of these models ignite much excitement, they also inevitably make a leap toward homogenization: powering a wide range of applications with a single, often referred to as ``general-purpose'', model. In this position paper, we argue that model evaluation practices must take on a critical task to cope with the challenges and responsibilities brought by this homogenization: providing valid assessments for whether and how much human needs in diverse downstream use cases can be satisfied by the given model ( extit{socio-technical gap}). By drawing on lessons about improving research realism from the social sciences, human-computer interaction (HCI), and the interdisciplinary field of explainable AI (XAI), we urge the community to develop evaluation methods based on real-world contexts and human requirements, and embrace diverse evaluation methods with an acknowledgment of trade-offs between realisms and pragmatic costs to conduct the evaluation. By mapping HCI and current NLG evaluation methods, we identify opportunities for evaluation methods for LLMs to narrow the socio-technical gap and pose open questions.

研究の動機と目的

• 従来の指標が現実世界の有用性や社会的影響を捉えきれない、LLMにおける増大する「評価の危機」に対処すること。
• 少数の汎用モデルが多様な応用を支配する中で、その適切さの評価が不十分であるためのモデル均質化のリスクを浮き彫りにすること。
• モデル評価を、モデルが何ができるかとユーザーが実際に必要としていることのギャップを埋める社会的・技術的取り組みとして再定義すること。
• 人間のニーズの現実性と実用的妥当性の両立を図る評価手法を推進し、コストと代表性のトレードオフを認識すること。
• 技術的パフォーマンスや合成ベンチマークではなく、実際の使用事例に基づいた評価フレームワークの開発を促すこと。

提案手法

• 技術的能力と現実世界の使用文脈における人間中心の要件の間の乖離を示す『社会的・技術的ギャップ』の概念を導入すること。
• 文脈の現実性と人間要件の現実性の二つの次元に沿って、既存のNLGおよびHCI評価手法をマッピングし、評価手法のトレードオフを特定すること。
• 実証的ユーザー行動に基づき、実際のユーザーデータと照合して検証された、使用事例に基づくシミュレーテッド評価を提案することにより、忠実度を高め、完全な自動化への依存を減らすこと。
• UX研究者やデザイナーがユーザー行動を模倣することで、モデルの挙動を検査し、リスクや限界を特定する、エキスパート主導の定性的評価を提唱すること。
• フィールドスタディの知見を活用して、外側から内側へと評価を形式化するよう呼びかけること。
• ROUGE や BERTScore といった汎用指標に頼るのではなく、人間が望む構造（例：一貫性、公平性、信頼性）を測る指標の開発を推奨すること。

実験結果

リサーチクエスチョン

• RQ1 技術的ベンチマークではなく、現実世界の人間のニーズや文脈的使用状況をよりよく反映するように、モデル評価をどのように再構築できるか？
• RQ2 文脈的現実性および人間要件の忠実度という評価の現実性と、計算コスト・時間・環境への影響といった実用的コストの間には、どのようなトレードオフがあるか？
• RQ3 シミュレーテッド評価は、ユーザー行動を単純化したり歪めたりせずに、現実のユーザー相互作用を意味的に近似できるように、どのように設計できるか？
• RQ4 多様な応用分野にわたる包括的なLLM評価において、『使用事例』を有用かつ判別力のある形で表現するのはどのようなものか？
• RQ5 高リスクなモデルデプロイの文脈において、低コストの評価手法は、いつ、どのように正当化されるべきか？

主な発見

• ROUGE や BERTScore といった従来の自動指標は、現実世界の文脈における人間が望む構造と一致しないため、LLMの評価に不十分である。
• 人間による評価は、より妥当ではあるが、標準化や再現性、スケーラビリティに欠けることが多く、実際のデプロイ意思決定における信頼性を損なう。
• 汎用LLMの台頭により、モデルの均質化が進んでおり、開発者の責任として、多様な使用事例における適切さの評価と限界の説明が高まる。
• 実証的ユーザー行動に基づき、実データと照合して検証されたシミュレーテッド評価は、価値あるツールであるが、原則に従わないシミュレーションはユーザーのニーズを誤って表現するリスクをはらむ。
• デザイナーやUX研究者がユーザー行動を模倣するエキスパート主導の定性的評価は、自動評価や標準的人間評価では検出できない、重要な行動的欠陥やリスクを明らかにできる。
• 公平性、一貫性、信頼性といった人間が望む構造を形式化し、コンSENSUSを形成する必要があり、これによりより意味的で価値に整合した評価指標の開発が促進される。