[論文レビュー] The De-democratization of AI: Deep Learning and the Compute Divide in Artificial Intelligence Research

Nur Ahmed, Muntasir Wahed|arXiv (Cornell University)|Oct 22, 2020

Explainable Artificial Intelligence (XAI)参考文献 58被引用数 105

ひとこと要約

本論文は、深層学習が大企業とエリート大学に有利な計算資源格差を強化し、中堅・低位の機関を排除する方向に向かっていることを分析し、一般化合成対照法を用いて計算資源アクセスがこの分岐を生み出すことを示す。

ABSTRACT

Increasingly, modern Artificial Intelligence (AI) research has become more computationally intensive. However, a growing concern is that due to unequal access to computing power, only certain firms and elite universities have advantages in modern AI research. Using a novel dataset of 171394 papers from 57 prestigious computer science conferences, we document that firms, in particular, large technology firms and elite universities have increased participation in major AI conferences since deep learning's unanticipated rise in 2012. The effect is concentrated among elite universities, which are ranked 1-50 in the QS World University Rankings. Further, we find two strategies through which firms increased their presence in AI research: first, they have increased firm-only publications; and second, firms are collaborating primarily with elite universities. Consequently, this increased presence of firms and elite universities in AI research has crowded out mid-tier (QS ranked 201-300) and lower-tier (QS ranked 301-500) universities. To provide causal evidence that deep learning's unanticipated rise resulted in this divergence, we leverage the generalized synthetic control method, a data-driven counterfactual estimator. Using machine learning based text analysis methods, we provide additional evidence that the divergence between these two groups - large firms and non-elite universities - is driven by access to computing power or compute, which we term as the "compute divide". This compute divide between large firms and non-elite universities increases concerns around bias and fairness within AI technology, and presents an obstacle towards "democratizing" AI. These results suggest that a lack of access to specialized equipment such as compute can de-democratize knowledge production.

研究の動機と目的

• AI研究がますます実質的な計算資源を保有する主体によって支配されつつあるという懸念を喚起する。
• 2012年の深層学習の台頭以来、企業と異なる名門度の大学間の参加格差を定量化する。
• 深層学習の台頭、計算資源アクセスとAI研究における公表・多様性の変化との因果関係を確立する。

提案手法

• 57の名門コンピュータサイエンス会議からなる171,394件の論文の新規データセットを構築する。
• 一般化合成対照法を用いて、深層学習が異なる主体の参加に与える影響の因果的対照を提供する。
• 機械学習ベースのテキスト分析を用いて、大企業と非エリート大学間の計算資源アクセスの乖離を生み出す要因を研究する。

実験結果

リサーチクエスチョン

• RQ1 深層学習の台頭は、主要なAI会議における企業とエリート大学の参加増加と相関があるか。
• RQ2 観察された参加の変化は主に企業によるものか、それともエリート大学によるものか、あるいは両者の組み合わせか。
• RQ3 大手企業と非エリート大学の乖離を推進する上で、計算資源アクセスが果たす役割はどの程度か。
• RQ4 計算資源の格差がAI研究において中位層・低位層の大学を排除する証拠はあるか。

主な発見

• 企業とエリート大学は、2012年の深層学習の台頭以来、主要なAI会議での存在感を高めた。
• この効果は、QS World University Rankingsで1–50位にランクされるエリート大学に集中している。
• 企業は自社のみの論文と、主にエリート大学との共同研究を通じて拡大した。
• 乖離は、計算資源への不平等なアクセス、すなわち計算資源格差に関連しており、偏ったより民主化されない知識生産を生んでいる。
• 専門的ハードウェアへのアクセス不足は、非エリート機関での知識生産を制限する可能性が示唆される。