[論文レビュー] Replication Markets: Results, Lessons, Challenges and Opportunities in AI Replication

Yang Liu, Michael Gordon+6 more|arXiv (Cornell University)|May 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 5

ひとこと要約

本論文は、AIおよび機械学習研究の再現可能性をスケーラブルに評価するための手法として、再現結果の予測を人間の予測に依存する再現市場を提案する。真の結果が入手できない状況でも予測の正確性を推定できる代替スコアリング（surrogate scoring）を用いることで、専門家をランク付けし、高インパクトの再現作業を優先し、月次賞を提供することでより良い再現性を促進する。検証では、代替スコアリングと真の性能の間に強い相関が観察された。

ABSTRACT

The last decade saw the emergence of systematic large-scale replication projects in the social and behavioral sciences, (Camerer et al., 2016, 2018; Ebersole et al., 2016; Klein et al., 2014, 2018; Collaboration, 2015). These projects were driven by theoretical and conceptual concerns about a high fraction of "false positives" in the scientific publications (Ioannidis, 2005) (and a high prevalence of "questionable research practices" (Simmons, Nelson, and Simonsohn, 2011). Concerns about the credibility of research findings are not unique to the behavioral and social sciences; within Computer Science, Artificial Intelligence (AI) and Machine Learning (ML) are areas of particular concern (Lucic et al., 2018; Freire, Bonnet, and Shasha, 2012; Gundersen and Kjensmo, 2018; Henderson et al., 2018). Given the pioneering role of the behavioral and social sciences in the promotion of novel methodologies to improve the credibility of research, it is a promising approach to analyze the lessons learned from this field and adjust strategies for Computer Science, AI and ML In this paper, we review approaches used in the behavioral and social sciences and in the DARPA SCORE project. We particularly focus on the role of human forecasting of replication outcomes, and how forecasting can leverage the information gained from relatively labor and resource-intensive replications. We will discuss opportunities and challenges of using these approaches to monitor and improve the credibility of research areas in Computer Science, AI, and ML.

研究の動機と目的

• AIおよび機械学習分野における再現不能な結果の増加という懸念に対処する。これは社会科学研究分野の「再現危機」にインspireされたものである。
• AI研究の主張の再現可能性を予測するスケーラブルで市場ベースのメカニズムを開発する。
• 真の結果が入手できない状況でも、予測の質を推定できる代替スコアリングを用いる。
• 月次賞とランクイングを提供することで、高品質な予測を促進する。
• 専門家の予測に基づく優先順位付けにより、研究の信頼性を向上させる。

提案手法

• 予測市場とアンケートを活用し、AI/MLの主張が実際に再現可能かどうかの予測を集める。
• 代替スコアリング則（SSR）を適用し、真の結果がなくても参加者の予測のみを用いて予測の正確性を推定する。
• 予測の質のベンチマークとしてBrierスコアを用い、SSRは予測の量が増えるにつれて真のBrierスコアに収束するように設計されている。
• SSRスコアを用いて参加者をランク付けし、優れた予測者を特定し、月次賞を授与する。
• 実験データ上で代替スコアと真のBrierスコアを比較することで、SSRの性能を検証する。
• SSR重み付き集約を用いて、専門家のコンSENSUSを反映するとともに推定された信頼性を有する集団の再現可能性スコア（CS）を形成する。

実験結果

リサーチクエスチョン

• RQ1 人間の予測がAIおよび機械学習研究の再現成功を信頼性を持って予測できるか？
• RQ2 真の結果が入手できない状況でも、代替スコアリング技術が予測の質を正確に推定できるか？
• RQ3 月次賞とランクイングは、長期的な予測タスクにおける参加者の関与をどの程度効果的に維持できるか？
• RQ4 SSRに基づく集約は、実際の再現結果とどの程度相関しているか？
• RQ5 予測に基づく優先順位付けは、大規模な再現作業のコストを削減し、影響を高めることができるか？

主な発見

• 代替スコアリング（SSR）は期待値においてBrierスコアを正確に回復でき、真の結果がなくても予測の正確性を信頼性を持って評価可能であることを示した。
• 実験データ上では、SSRで推定されたスコアと真のBrierスコアの間に強い相関が観察され、手法の正確性が検証された。
• 月次賞のインcentiveは参加者の関与を顕著に向上させ、長期的な予測タスクへの継続的参加を維持した。
• SSRで特定された上位の予測者は、参加者から一貫して認識され、ブログやSNSで公に認められた。
• SSR重み付き集約は市場ベースの結果と高い一貫性を示し、堅牢性と情報価値の両方を示した。
• 本手法により、信頼性の高い主張を特定し、さらなる検証に向けた優先順位付けをスケーラブルかつ費用効果的に可能とした。