[論文レビュー] AI Evaluation: past, present and future

José Hernández‐Orallo|arXiv (Cornell University)|Aug 29, 2014

Explainable Artificial Intelligence (XAI)参考文献 151被引用数 14

ひとこと要約

本稿は、従来のタスク指向型AI評価手法を批判し、認知的能力に基づく評価への転換を提唱する。系統的で堅牢かつ人間中心でない測定を重視する。心理学的測定理論、アルゴリズム情報理論、標準化ベンチマークを用いて、認知能力に基づくAIシステムの評価フレームワークを提案し、狭義のAIおよび汎用AIの進展を支援することを目的とする。

ABSTRACT

Artificial intelligence develops techniques and systems whose performance must be evaluated on a regular basis in order to certify and foster progress in the discipline. We will describe and critically assess the different ways AI systems are evaluated. We first focus on the traditional task-oriented evaluation approach. We see that black-box (behavioural evaluation) is becoming more and more common, as AI systems are becoming more complex and unpredictable. We identify three kinds of evaluation: Human discrimination, problem benchmarks and peer confrontation. We describe the limitations of the many evaluation settings and competitions in these three categories and propose several ideas for a more systematic and robust evaluation. We then focus on a less customary (and challenging) ability-oriented evaluation approach, where a system is characterised by its (cognitive) abilities, rather than by the tasks it is designed to solve. We discuss several possibilities: the adaptation of cognitive tests used for humans and animals, the development of tests derived from algorithmic information theory or more general approaches under the perspective of universal psychometrics.

研究の動機と目的

• 従来のAI評価手法、特にベンチマークやコンペティションを含むタスク指向型アプローチを批判的に評価すること。
• 現在の評価手法における限界、例えばサンプリングバイアス、標準化の欠如、人的判断への過剰依存を特定すること。
• 狭義のAIおよび汎用AIの開発を支援する、体系的で計算的かつ人間中心でないAI評価アプローチを提唱すること。
• 認知テスト、普遍的心理学的測定、アルゴリズム情報理論に基づく、能力指向評価という新しいパラダイムを提唱すること。
• AIシステムの評価フレームワークをより信頼性があり、再現可能で透明性の高いものにするためのガイドラインを策定すること。

提案手法

• AI評価を、人間による識別、問題ベンチマーク、ピア対決の3種類に分類し、それぞれの長所と短所を分析する。
• 問題集合 $\Omega$、システム $M$、応答関数 $\Phi$、パフォーマンス測定 $p$、評価文脈 $R$ を用いた形式的評価フレームワークを導入する。
• システムのパフォーマンスを、問題の難易度の変動に応じてモデル化するため、内在的難易度関数と項目反応理論を提案する。
• 評価の効率性と堅牢性を向上させるため、クラスタリングや範囲ベースのサンプリング戦略を推奨する。
• 系統的比較を可能にするために、評価手順および問題（ただし、全問題セットやパラメータは非公開）を公開することを提唱する。
• アノマリーの検出と結果の妥当性を検証するため、評価後の分析として項目反応関数とエージェント応答関数の使用を強調する。

実験結果

リサーチクエスチョン

• RQ1 AI評価を、より体系的で信頼性が高く、一時的・特異的ベンチマークに依存しない形にどのように改善できるか？
• RQ2 コンペティションやベンチマークといった現在のタスク指向型評価手法が、真の知能を測定する上で抱える限界は何か？
• RQ3 AIシステムの一般的な認知能力を評価するにあたり、能力指向評価をどのように形式化できるか？
• RQ4 普遍的心理学的測定とアルゴリズム情報理論が、客観的でドメインに依存しないAI評価手法の設計に果たす役割は何か？
• RQ5 評価フレームワークが、再現可能性、透明性、およびAIシステムのパフォーマンスの長期的比較性をどのように保証できるか？

主な発見

• コンペティションやベンチマークを含む従来のタスク指向型評価手法は、広く用いられているが、サンプリングバイアス、標準化の欠如、一般化可能性の制限といった問題を抱えている。
• 人間による識別評価は主観的であり、特に複雑または新規なAI行動を評価する際にはバイアスに左右されやすい。
• ピア対決評価（例：AIコンペティション）は有効であるが、堅牢性を確保するには、マッチスケジューリングと適応的設計が不可欠である。
• 問題集合 $\Omega$、システム $M$、応答関数 $\Phi$、パフォーマンス測定 $p$、文脈 $R$ を用いた提案フレームワークは、形式的で繰り返し可能かつ分析可能な評価プロセスを可能にし、実証的分析と比較を支援する。
• 項目反応関数とエージェント応答関数は、実証的結果から構築可能であり、アノマリーの検出と評価プロセスの妥当性検証に有効である。
• 集計スコアを超えた詳細な評価結果の公開は、透明性、再現可能性、コミュニティによる検証を実現するために不可欠であり、オープンサイエンスの原則と整合する。