[論文レビュー] Accounting for the Neglected Dimensions of AI Progress.

Fernando Martínez‐Plumed, Shahar Avin+4 more|arXiv (Cornell University)|Jun 2, 2018

Explainable Artificial Intelligence (XAI)参考文献 25被引用数 26

ひとこと要約

本稿は、パフォーマンス指標に加え、データ、専門知識、計算リソース、開発時間といった隠れたコストを含めた多次元的枠組みを導入することで、AIの進歩を再定式化する。パフォーマンスとコストの次元を統合したユーティリティ指標に縮約するか、パレート効率性を用いた評価により、アルファスターやALEの事例研究を通じて、より包括的なAI発展のベンチマークを提示する。

ABSTRACT

We analyze and reframe AI progress. In addition to the prevailing metrics of performance, we highlight the usually neglected costs paid in the development and deployment of a system, including: data, expert knowledge, human oversight, software resources, computing cycles, hardware and network facilities, development time, etc. These costs are paid throughout the life cycle of an AI system, fall differentially on different individuals, and vary in magnitude depending on the replicability and generality of the AI solution. The multidimensional performance and cost space can be collapsed to a single utility metric for a user with transitive and complete preferences. Even absent a single utility function, AI advances can be generically assessed by whether they expand the Pareto (optimal) surface. We explore a subset of these neglected dimensions using the two case studies of Alpha* and ALE. This broadened conception of progress in AI should lead to novel ways of measuring success in AI, and can help set milestones for future progress.

研究の動機と目的

• AIシステム開発および展開におけるしばしば見過ごされがちなコストを特定・定量化すること。
• AIの進歩はパフォーマンスだけでなく、リソースおよび人的コストの全範囲によって測られるべきだと主張すること。
• 一貫した好みを持つユーザーを想定し、パフォーマンスとコストの両方の次元を統合した統一ユーティリティ指標を提案すること。
• パレート効率性の観点からAI進歩を評価し、パフォーマンスとコストの最適トレードオフの集合が拡大するかどうかを検証すること。
• 実世界の事例研究（アルファスターやALE）を用いて、この枠組みの適用可能性を示すこと。

提案手法

• 本稿は、AIシステムライフサイクル全体にわたってパフォーマンスおよびさまざまなコスト要因をマッピングする多次元空間を導入する。
• ユーザーの好みを推移的かつ完全なものと仮定し、パフォーマンスとコストの次元を単一のユーティリティ関数に統合可能であるとモデル化する。
• パレート効率性の概念を応用し、AIの進歩がパフォーマンスとコストの最適トレードオフの集合を拡大しているかどうかを評価する。
• 本稿は、2つの事例研究（アルファスターとALE）を用いて、この枠組みの応用および妥当性を実証的に示す。
• コストが個人や組織間で不均等に分配され、AIソリューションの再現可能性および汎用性に応じて変動することを分析する。
• 進歩とはパフォーマンスの向上だけでなく、隠れたコストの低減または再分配であるという考えを形式化する。

実験結果

リサーチクエスチョン

• RQ1 標準的なパフォーマンス指標を超えて、AI進歩をどのように意味的に評価できるか？
• RQ2 AI開発および展開における主な隠れたコストは何か、そしてそれらはシステムごとにどのように異なるか？
• RQ3 現在のAIの進歩は、パフォーマンスとコストのトレードオフにおけるパレート最適フロンティアをどの程度拡大しているか？
• RQ4 複数のパフォーマンスおよびコスト次元から統一ユーティリティ指標をどのように導出できるか？
• RQ5 アルファスターおよびALEの事例研究は、この枠組みの実用的妥当性をどのように示しているか？

主な発見

• 本稿は、データ収集、専門的労働、計算リソース使用、インfra構築といった、標準的な進歩指標に含まれない広範なコストを特定する。
• これらのコストは個人や組織間で不均等に分配されており、アクセス性や能力格差を生じさせている。
• 推移的かつ完全なユーザー好みの下で、本稿の枠組みはパフォーマンスとコストの次元を単一のユーティリティ指標に統合可能である。
• AIの進歩は、パフォーマンスとコストのトレードオフの最適集合が拡大するかどうかによって、一般に評価可能であり、改善されたトレードオフを示している。
• アルファスターおよびALEの事例研究は、高パフォーマンスなシステムですら、スケーラビリティおよび再現可能性に影響を及ぼす顕著な隠れたコストを伴っていることを示している。
• 提案された枠組みは、AIの進歩がパフォーマンスの向上に限らず、リソース使用におけるシステム的非効率性および不平等の低減にも関係していることを明らかにしている。