[論文レビュー] Closing the AI Knowledge Gap

Ziv Epstein, Blakeley H. Payne+7 more|arXiv (Cornell University)|Mar 20, 2018

Ethics and Social Impacts of AI参考文献 37被引用数 23

ひとこと要約

本稿では、AIシステムの行動に関する体系的で仮説志向の科学的調査を可能にする、二面的なマーケットプレイス「TuringBox」を提案する。AI貢献者（アルゴリズムをアップロードする側）と、行動テストを設計・実行する検査者（ examiner）を結びつけることで、再現性、バイアスの測定、AI行動に関する異分野研究を促進する。

ABSTRACT

AI researchers employ not only the scientific method, but also methodology from mathematics and engineering. However, the use of the scientific method - specifically hypothesis testing - in AI is typically conducted in service of engineering objectives. Growing interest in topics such as fairness and algorithmic bias show that engineering-focused questions only comprise a subset of the important questions about AI systems. This results in the AI Knowledge Gap: the number of unique AI systems grows faster than the number of studies that characterize these systems' behavior. To close this gap, we argue that the study of AI could benefit from the greater inclusion of researchers who are well positioned to formulate and test hypotheses about the behavior of AI systems. We examine the barriers preventing social and behavioral scientists from conducting such studies. Our diagnosis suggests that accelerating the scientific study of AI systems requires new incentives for academia and industry, mediated by new tools and institutions. To address these needs, we propose a two-sided marketplace called TuringBox. On one side, AI contributors upload existing and novel algorithms to be studied scientifically by others. On the other side, AI examiners develop and post machine intelligence tasks designed to evaluate and characterize algorithmic behavior. We discuss this market's potential to democratize the scientific study of AI behavior, and thus narrow the AI Knowledge Gap.

研究の動機と目的

• AIシステムの数が増加する一方で、その行動に関する科学的理解が追いつかない、拡大するAI知識格差に対処すること。
• アクセス、ツール、インcentive（インcentive）の不足により、社会的・行動的科学者がAIシステムを効果的に研究できない状況を克服すること。
• 多様なAIシステムにおける行動に関する仮説検証を可能にする、スケーラブルで標準化されたプラットフォームを構築すること。
• コンピュータ科学者と社会科学者が協力して、AIにおける公平性、バイアス、および顕在的行動を研究すること。
• 研究者や機関がアルゴリズムを体系的にテスト・ベンチマークできるように、AIシステム評価へのアクセスを民主化すること。

提案手法

• 二面的なマーケットプレイスを設計：一方はAI貢献者がアルゴリズムをアップロードする側、他方は検査者が機械的知能タスクを提示する側。
• アルゴリズム設計者が自らの実装をアップロードすることを義務づけることで、再現性を確保し、実装のばらつきを低減する。
• ベンチマークツールを統合し、貢献者が最先端のシステムと性能を比較できるようにする。
• 社会科学者が複数のAIシステムにわたって、公平性やバイアスといった新たな行動指標を定義・展開できるようにする。
• APIを介して学術的・産業的参加を支援し、特許権を持つシステムのコンプライアンスおよび透明性のテストを可能にする。
• 学術界および産業界が科学的AI評価に継続的に参加できるよう、制度的およびインcentive（インcentive）構造を確立する。

実験結果

リサーチクエスチョン

• RQ1 AIシステムの科学的調査を、新規AIシステムの急激な増加にあわせてどのようにスケーリングできるか？
• RQ2 社会的・行動的科学者がAI行動を効果的に研究できない、制度的・技術的障壁は何か？
• RQ3 マーケットプレイスモデルが、多様なAIシステムの仮説検証および行動特徴化をどのように促進できるか？
• RQ4 標準化され再現性のある評価プロトコルは、AIシステムにおけるバイアスの検出および測定をどのように改善できるか？
• RQ5 統合されたAI評価プラットフォームは、コンピュータサイエンスと社会科学研究の間のギャップをどのように埋められるか？

主な発見

• AI知識格差は、独自のAIシステムの数が、それらの行動を特徴づける科学的研究の数を上回って増加していることに起因する。
• 現在のAI研究は、主に工学的・数学的アプローチに支配されており、公平性、バイアス、社会的影響に関する重要な問いが十分に検討されていない。
• TuringBoxは、アルゴリズムへの集中管理と評価プロトコルの標準化を通じて、再現性があり大規模なAI行動の科学的調査を可能にする。
• 社会科学者が検査者として参加することで、多様なAIシステムにわたる新たな行動指標（例：公平性、バイアス検出）の開発が支援される。
• マーケットプレイスモデルは、一時的で一回限りのアルゴリズム監査に依存するのを減らし、高コストな監査の代替としてスケーラブルな代替手段を提供する。
• このプラットフォームは、将来の汎用人工知能システムの複雑で多分野にわたる行動を、制御的・体系的な方法で予測し研究する可能性を秘めている。