[論文レビュー] Leveling the Playing Field -- Fairness in AI Versus Human Game Benchmarks

Rodrigo Canaan, Christoph Salge+2 more|arXiv (Cornell University)|Mar 17, 2019

Ethics and Social Impacts of AI参考文献 30被引用数 20

ひとこと要約

この論文は、入力/出力モダリティ、反応速度、表現的抽象化の面で根本的な違いがあるため、AIと人間のゲームベンチマークにおける完全な公平な比較は存在しないと主張する。入力、出力、行動空間、反応時間の4つの公平性次元からなる分類を提唱し、人間とAIのゲーム対決を評価する。真の同等性は、AIが人間の身体的・認知的・社会的文脈を完全に模倣しない限り達成不可能であると結論づける。

ABSTRACT

From the beginning if the history of AI, there has been interest in games as a platform of research. As the field developed, human-level competence in complex games became a target researchers worked to reach. Only relatively recently has this target been finally met for traditional tabletop games such as Backgammon, Chess and Go. Current research focus has shifted to electronic games, which provide unique challenges. As is often the case with AI research, these results are liable to be exaggerated or misrepresented by either authors or third parties. The extent to which these games benchmark consist of fair competition between human and AI is also a matter of debate. In this work, we review the statements made by authors and third parties in the general media and academic circle about these game benchmark results and discuss factors that can impact the perception of fairness in the contest between humans and machines

研究の動機と目的

• AIが人間水準の知能に達したとされる主張が増加する中、人間-AIゲームベンチマークの公平性を調査すること。
• 人間とAIエージェントのゲーム対決における公平性に影響を与える主要な次元を特定・分析すること。
• ゲームベンチマークでの成功が人間水準の知能またはAGIに相当するというナラティブを疑問視すること。
• 特に電子ゲームにおけるAI-ゲーム対決の公平性を評価するための構造的分類を提供すること。
• AIが物理的・精神的・社会的側面で人間とほとんど区別がつかない状態である場合にのみ、完全な公平な競争が可能であると主張すること。

提案手法

• 主なAIゲームベンチマーク（例：TD-Gammon、AlphaGo、AlphaStar、OpenAI Five）のメディアおよび学術的描写を調査し、公平性や人間水準の性能に関する主張を分析した。
• 入力、出力、行動空間表現、反応時間の4つの次元を含む、多次元的な公平性分類を提唱し、人間-AIゲーム比較を評価した。
• アタリ、スターフィックII、ドータ2の具体例を分析し、入力/出力モダリティや反応速度の違いが公平性にどのように歪みをもたらすかを説明した。
• 「スティッキーアクション」や行動空間の抽象化（例：能力指定、UIシミュレーション）といった技術的手法を紹介し、AIエージェントの非人間的優位性を軽減する方法を検討した。
• 強化学習と自己対戦の技術的役割を評価したが、表現の忠実度の妥当性に妥協を伴うことを認めつつも、それらが優れた性能を達成する要因であると指摘した。
• AIと人間の能力の根本的な差異のため、ゲームベンチマークにおける公平性は本質的に達成不可能であると主張した。AIアーキテクチャの多様性と、人間と機械の能力を完全に一致させることの不可能性を踏まえた。

実験結果

リサーチクエスチョン

• RQ1 人間-AIゲーム対決における公平性を定義づける次元は何であり、ゲームの種類によってどのように変化するか？
• RQ2 ゲームにおけるAIのパフォーマンスは、人間水準の知能を正当にベンチマークするものと見なせるか？
• RQ3 なぜゲームベンチマークにおいて人間とAIエージェントの完全な公平な競争を作るのは不可能なのか？
• RQ4 入力モダリティ、行動表現、反応速度の違いが、AIゲーム結果における公平性の認識にどのように影響を与えるか？
• RQ5 ゲームにおける「超人間的」なAI能力の実世界への展開に及ぼす影響は何か。特に公平性と倫理的懸念についての示唆は？

主な発見

• 入力モダリティ、反応速度、行動表現の面で根本的な差異があるため、人間とAIの間には完全な公平なゲームベンチマークは存在しない。
• AIエージェントはしばしば、ミリ秒未塔の反応速度や、人間には入手不可能な完全なゲーム状態情報へのアクセスといった、不公平な優位性を持つ。
• 高レベルの行動表現（例：能力指定）やシミュレートされたUI入力（例：画面クリック）の使用は、人間のプレイとは乖離した抽象化をもたらす。
• 「スティッキーアクション」は非人間的反応速度を軽減するが、元々は環境の確率的変動への耐性を高めるために開発されたものであり、公平性のためのものではない。
• これらの不均衡にもかかわらず、AIゲームベンチマークは一般化能力、サンプル効率、実世界への応用可能性の向上に価値がある。
• 公平性の認識は文脈に強く依存しており、しばしばメディアや大衆の物語に影響を受ける。これらはAIの成果をAGIへの道のりのマイルストーンとして誇張する傾向がある。