[論文レビュー] Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence

Timothy R. McIntosh, Teo Sušnjak+4 more|arXiv (Cornell University)|Feb 15, 2024

Topic Modeling被引用数 42

ひとこと要約

本論文は23の最先端LLMベンチマークを批判的に評価し、技術・プロセス・人材の面で重大な不備を特定し、今後の評価を改善するための統一フレームワークと行動監査を提案する。

ABSTRACT

The rapid rise in popularity of Large Language Models (LLMs) with emerging capabilities has spurred public curiosity to evaluate and compare different LLMs, leading many researchers to propose their own LLM benchmarks. Noticing preliminary inadequacies in those benchmarks, we embarked on a study to critically assess 23 state-of-the-art LLM benchmarks, using our novel unified evaluation framework through the lenses of people, process, and technology, under the pillars of benchmark functionality and integrity. Our research uncovered significant limitations, including biases, difficulties in measuring genuine reasoning, adaptability, implementation inconsistencies, prompt engineering complexity, evaluator diversity, and the overlooking of cultural and ideological norms in one comprehensive assessment. Our discussions emphasized the urgent need for standardized methodologies, regulatory certainties, and ethical guidelines in light of Artificial Intelligence (AI) advancements, including advocating for an evolution from static benchmarks to dynamic behavioral profiling to accurately capture LLMs' complex behaviors and potential risks. Our study highlighted the necessity for a paradigm shift in LLM evaluation methodologies, underlining the importance of collaborative efforts for the development of universally accepted benchmarks and the enhancement of AI systems' integration into society.

研究の動機と目的

• 技術的・プロセス的・人的次元にまたがる最先端LLMベンチマークの共通的不備を特定する。
• 機能性とセキュリティに焦点を当て、サイバーセキュリティ原則に沿った統一評価フレームワークを提案する。
• 23のベンチマークを分析し、実世界の適用性と安全性における不備とギャップの蔓延度を評価する。
• 包摂性とセキュリティの洞察を高めるため、LLMの行動プロファイリングと監査をベンチマークに拡張することを提案する。

提案手法

• 人・プロセス・技術を統合したLLMベンチマークの統一評価フレームワークを開発する。
• 反転思考の反例アプローチを適用して不備を特定し、それらを「未認識の存在」「認識されているが未解決」「対処済み」に分類する。
• 技術的・プロセス的・人的次元（付録A–C）にわたる体系的な手動評価を実施してベンチマークを評価する。
• 23のベンチマークを系統的に分析して不備とその有病率を把握し（Table II参照）、方法論への影響を論じる。
• 動的で行動に基づくベンチマーキングと規制・倫理ガイドラインの必要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 最先端のLLMベンチマークの共通的不備をどのように特定・分類・説明できるか？
• RQ2 特定された不備は一般的なベンチマークに現れるのか、どの程度現れているかまたは認識されているか？
• RQ3 社会的影響を考慮した機能性とセキュリティを含む、包括的なLLMベンチマーク評価には何が必要か？

主な発見

• ベンチマークは、本当の推論と技術的最適化の評価におけるバイアス、一貫性の欠如、ギャップを示している。
• 評価において、特にオープンエンドな文脈で、モデルの有用性と無害性の間に持続的な緊張がある。
• 言語のばらつきと多言語に埋め込まれた論理はしばしば無視され、英語または簡体字中国語が優先され、多言語の基盤が限られている。
• 評価はしばしばサイバーセキュリティの側面、敵対的またはイデオロギー操作リスクなどを見落としている。
• 統一された人・プロセス・技術フレームワークを提案して、より包括的で安全なLLMベンチマーキングを導く。
• 現在のベンチマークの拡張としてLLMの行動プロファイリングと監査を提案し、包摂性と安全性の洞察を改善する。