[論文レビュー] Measurement in AI Policy: Opportunities and Challenges

Saurabh Mishra, Jack Clark+1 more|arXiv (Cornell University)|Sep 10, 2020

Ethics and Social Impacts of AI参考文献 33被引用数 42

ひとこと要約

この論文は、2019年の Stanford workshop に基づくAI政策の測定課題と機会を概観し、今後の研究を指針とする六つの核心的挑戦を特定します。

ABSTRACT

As artificial intelligence increasingly influences our world, it becomes crucial to assess its technical progress and societal impact. This paper surveys problems and opportunities in the measurement of AI systems and their impact, based on a workshop held at Stanford University in the fall of 2019. We identify six summary challenges inherent to measuring the progress and impact of AI, and summarize over 40 presentations and associated discussions from the workshop. We hope this can inspire research agendas in this crucial area.

研究の動機と目的

• 技術的、経済的、社会的な側面全体にわたって、AIの進展と影響をどのように測定するかを明確にする。
• 堅牢なAI測定を妨げる定義上および方法論上のボトルネックを特定する。
• 政策利用のためのデータ源、指標、評価実践を改善する方向性を提案する。
• 測定がAIの統治、投資、および倫理的配慮にどのように影響するかを浮き彗にする。
• 標準化可能な測定フレームワークを構築するための学際的な協力を促進する。

提案手法

• 40件を超えるワークショップのプレゼンテーションとブレークアウトセッションからの洞察を統合する。
• 六つの核心的な測定課題を中心に知見を整理する。
• 全体講演とサブグループ討議を要約して共通のテーマを抽出する。
• 各分野ごとに実践的な測定の問いと潜在的な研究方向を議論する。

実験結果

リサーチクエスチョン

• RQ1 What constitutes AI and how should it be defined for measurement across sectors?
• RQ2 How can we meaningfully measure AI progress beyond single-metric evaluations?
• RQ3 What data and bibliometric approaches best capture AI impact and development trajectories?
• RQ4 How can we quantify AI’s economic and societal effects, including labor markets and inequality?
• RQ5 What metrics are needed to assess risks, governance, and human rights implications of AI?

主な発見

• AI progress is difficult to measure due to definitional ambiguity and reliance on dataset-specific benchmarks.
• Overfitting and bias on benchmarks can misrepresent real-world AI capabilities and safety concerns.
• Diverse metrics and adversarial evaluation are needed to capture robust progress beyond single scores.
• Bibliometric data can illuminate contributions, collaborations, and diffusion but require careful handling of authorship and geography.
• Economic and societal measurements must account for intangible inputs (skills, data, practices) and service-based outputs.
• Risks, governance, and human rights considerations require structured data and transparent methodologies for policy-relevant insights.