[論文レビュー] Evaluating General-Purpose AI with Psychometrics

Xiting Wang, Liming Jiang+5 more|arXiv (Cornell University)|Oct 25, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文は、一般用途AIの評価をタスク指向から構造指向へ転換し、心理学的測定法（psychometric principles）を用いてAIのパフォーマンスの背後にある潜在的認知的構造を特定・測定することを提案する。元来人間知能の評価に開発された心理学的測定法を応用することで、予測可能で説明可能かつ信頼性の高いAI評価が、想定外のタスクに対しても可能となり、ベンチマークに依存しない汎用性と能力の科学的根拠を提供する。

ABSTRACT

Comprehensive and accurate evaluation of general-purpose AI systems such as large language models allows for effective mitigation of their risks and deepened understanding of their capabilities. Current evaluation methodology, mostly based on benchmarks of specific tasks, falls short of adequately assessing these versatile AI systems, as present techniques lack a scientific foundation for predicting their performance on unforeseen tasks and explaining their varying performance on specific task items or user inputs. Moreover, existing benchmarks of specific tasks raise growing concerns about their reliability and validity. To tackle these challenges, we suggest transitioning from task-oriented evaluation to construct-oriented evaluation. Psychometrics, the science of psychological measurement, provides a rigorous methodology for identifying and measuring the latent constructs that underlie performance across multiple tasks. We discuss its merits, warn against potential pitfalls, and propose a framework to put it into practice. Finally, we explore future opportunities of integrating psychometrics with the evaluation of general-purpose AI systems.

研究の動機と目的

• 現在のタスク指向型ベンチマークが一般用途AIシステムの評価において抱える限界に対処すること。
• 潜在的AI能力を測定することを目的とした、心理学的科学に裏付けられた構造指向型評価フレームワークを提唱すること。
• AI評価における予測力、説明力、品質保証の向上。
• 測定可能な潜在的構造に基づいたAI選定、トレーニング、統合の支援。
• 実世界応用における想定外のAI行動に関連するリスクの特定と緩和。

提案手法

• 人間の認知能力に類似する、AI行動の背後にある潜在的構造を定義・測定する心理学的原則を採用すること。
• 多様なAI出力からの実証的データを用いて、統計的モデリングにより構造を推定・検証すること。
• 構造測定を根拠にした三段階評価フレームワーク（選定、トレーニング、検証）を設計すること。
• 項目反応理論や確認的要因分析などの心理学的技法をAI評価に拡張すること。
• 構造測定からのフィードバックを統合し、AIトレーニングの最適化と特定構造におけるパフォーマンス向上を図ること。
• プロンプト感受性やモデルのばらつきを考慮しつつ、人間中心の心理学的構造を非人間的AIシステムに再解釈すること。

Figure 1: Comparison of the task-oriented paradigm for AI evaluation and psychometrics.

実験結果

リサーチクエスチョン

• RQ1 心理学的手法は、タスク特化型ベンチマークを超えて、AI評価の予測力と説明力をどのように向上させるか？
• RQ2 一般用途AIシステムの多様なパフォーマンスの背後にある潜在的構造は何か、そして信頼性を持って測定する方法は何か？
• RQ3 心理学的評価は、高リスクな応用分野におけるAIシステムの選定およびトレーニングをどのように支援するか？
• RQ4 人間の心理学的テストを直接AIシステムの評価に適用する際のリスクと限界は何か？
• RQ5 心理学的評価は、実世界統合におけるAI評価の信頼性と妥当性をどのように保証するか？

主な発見

• 心理学的評価は、未確認のタスクに一般化する潜在的構造を特定することで、優れた予測力を提供する。
• 構造指向型評価により、異なる入力やプロンプトに対するAIパフォーマンスのばらつきをより深く説明できる。
• フレームワークは、信頼性と妥当性を確保する品質保証型テストを可能にし、バイアスや一貫性の欠如を低減する。
• 心理学的アプローチにより、法務アシスタントなど特定の役割に適した高潜在力AIシステムの選定が可能になる。
• 体系的な構造測定を通じて、AIシステムの根本的限界（例：批判的思考の欠如）が明らかになる。
• 心理学的測定をAI評価に統合することで、より責任ある、透明性の高い、科学的根拠に基づいたAI開発慣行の実現が可能になる。

Figure 2: A framework for construct-oriented evaluation grounded in psychometrics, illustrated by an example of evaluating a general medical AI assistant, with exemplary psychometric techniques at each stage.