[論文レビュー] The Limitations of Standardized Science Tests as Benchmarks for Artificial Intelligence Research: Position Paper

Ernest Davis|arXiv (Cornell University)|Nov 6, 2014

AI-based Problem Solving and Planning参考文献 7被引用数 3

ひとこと要約

この論文は、SAT やレジンズ試験のような標準化された科学試験が、AI の科学的理解の進歩を測るベンチマークとして不適切であると主張している。なぜなら、これらの試験は人間の困難さに焦点を当てており、AI が欠落している根本的な世界知識を測っていないからである。本論文は、試験形式の問題に代わって、テキスト理解、物理的推論タスク、ロボット統合といったより豊かで多様なベンチマークを提唱し、より意味のあるAIの進歩を促進すべきだと主張している。

ABSTRACT

In this position paper, I argue that standardized tests for elementary science such as SAT or Regents tests are not very good benchmarks for measuring the progress of artificial intelligence systems in understanding basic science. The primary problem is that these tests are designed to test aspects of knowledge and ability that are challenging for people; the aspects that are challenging for AI systems are very different. In particular, standardized tests do not test knowledge that is obvious for people; none of this knowledge can be assumed in AI systems. Individual standardized tests also have specific features that are not necessarily appropriate for an AI benchmark. I analyze the Physics subject SAT in some detail and the New York State Regents Science test more briefly. I also argue that the apparent advantages offered by using standardized tests are mostly either minor or illusory. The one major real advantage is that the significance is easily explained to the public; but I argue that even this is a somewhat mixed blessing. I conclude by arguing that, first, more appropriate collections of exam style problems could be assembled, and second, that there are better kinds of benchmarks than exam-style problems. In an appendix I present a collection of sample exam-style problems that test kinds of knowledge missing from the standardized tests.

研究の動機と目的

• 標準化された科学試験が、AI の科学的理解の進歩を測る有効なベンチマークであるという仮定に疑問を呈すること。
• AI システムがしばしば『誰にでもわかること』とされる共通認識の知識（『どんな馬鹿でも知っている』事実）を欠いており、形式的な科学では優れているが、その結果、ベンチマークの関連性に不一致が生じることを強調すること。
• AI の試験合格という公的認識が、AI の進歩の真の状況を歪め、分野の信頼性に悪影響を及ける可能性があるという点を指摘すること。
• 多様な推論タスクや実世界の応用を含む、標準化試験の代替案を提示すること。
• AI 研究において、標準化試験の制約（固定フォーマットや非開示契約）を放棄することで、より革新的で意味のある進歩を実現すべきだと提言すること。

提案手法

• 物理学のSAT試験とニューヨーク州レジンズ科学試験を分析し、基本的な世界知識の欠落を特定すること。
• 人間らしい理解に不可欠な『自明な』物理的常識（例：スライムはサンドイッチバッグに収まらない）が、標準化試験では除外されていることを同定すること。
• 付録Aに詳細記載された、欠落しているこうした共通認識知識をテストする、選別された試験形式の問題を提唱すること。
• 複数選択式の試験を越えて、エッセイ回答、テキスト理解、プランナーや設計システムとの統合といったベンチマークを提唱すること。
• 表面的な試験成績を超えて、より深い推論、知識表現、実世界の物理的相互作用を測る必要性を強調すること。
• AI 研究者が公式試験について非開示契約に署名しないようにすることを提言し、評価の透明性と再現可能性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 なぜSAT やレジンズのような標準化された科学試験が、AI システムの科学的推論能力を評価するベンチマークとして不適切なのか？
• RQ2 標準化試験から系統的に除外されているが、人間らしい理解に不可欠な根本的な物理的知識（『どんな馬鹿でも知っている』知識）とは何か？
• RQ3 試験に合格したというAIのパフォーマンスに基づく公的認識が、AI 進歩の真の状況をどのように歪めているのか？
• RQ4 AI の科学的推論と世界知識の進歩をよりよく測定・促進するための代替ベンチマークとして、どのようなものがあるか？
• RQ5 AI 研究が、固定フォーマットや非開示契約といった標準化試験の制約を採用するのは、なぜ非効率的なのか？

主な発見

• 標準化された科学試験は、AI の能力と一致していない。なぜなら、人間の困難さに焦点を当てており、AI が欠落している共通認識の知識を測っていないからである。
• AI システムは形式的な科学的式を習得できるが、日常的な物体や因果関係に関する基本的な物理的推論（例：スライムをサンドイッチバッグに収めることはできない）では失敗する可能性がある。
• 一般の人々は、AI が標準化試験に合格したのを、人間並みの知能の証拠だと誤解しがちであり、誤ったヘッドラインや誇張された期待を生み出している。
• 公式試験における非開示契約は透明性を損ない、再現性を阻害するため、こうした試験はオープンなAI研究には不適切である。
• 標準化試験の最大の利点（公的認知）は、誤解のリスクと研究の自由の喪失に比べて、顕著に劣る。
• より効果的なベンチマークには、テキスト理解、エッセイベースの推論、物理的シナリオの多様化、計画システムやロボットとの統合が含まれるべきである。