[論文レビュー] The Compute Divide in Machine Learning: A Threat to Academic Contribution and Scrutiny?

Tamay Besiroglu, Sage Andrus Bergerson+4 more|arXiv (Cornell University)|Jan 4, 2024

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、産業界と学界の間で計算リソース格差が拡大していることをデータ主導で示し、それが学術的貢献とモデル検証に与える影響、学術計算アクセスの拡大とオープンサイエンスを推進する政策提言を提示する。

ABSTRACT

There are pronounced differences in the extent to which industrial and academic AI labs use computing resources. We provide a data-driven survey of the role of the compute divide in shaping machine learning research. We show that a compute divide has coincided with a reduced representation of academic-only research teams in compute intensive research topics, especially foundation models. We argue that, academia will likely play a smaller role in advancing the associated techniques, providing critical evaluation and scrutiny, and in the diffusion of such models. Concurrent with this change in research focus, there is a noticeable shift in academic research towards embracing open source, pre-trained models developed within the industry. To address the challenges arising from this trend, especially reduced scrutiny of influential models, we recommend approaches aimed at thoughtfully expanding academic insights. Nationally-sponsored computing infrastructure coupled with open science initiatives could judiciously boost academic compute access, prioritizing research on interpretability, safety and security. Structured access programs and third-party auditing may also allow measured external evaluation of industry systems.

研究の動機と目的

• 産業界と学界の計算アクセスの差がML研究エコシステムにどのように影響するかを評価する。
• 計算集約的なトピックやファウンデーションモデルにおける学術的な代表性の変化を定量化する。
• 学術機関による拡散、検証、評価への影響を評価する。
• 学術計算アクセスを拡大し検証を強化する政策・ガバナンス機構を提案する。

提案手法

• 650以上のMLモデルのデータセットを収集・分析し、計算使用量と機関起源を特定する。
• NeurIPS 2021の論文を分析し、学術界と産業界の計算使用量と著者所属を比較する。
• OpenAlexを用いて2012-2021年のトピック表現と計算キーワードの動向を調査する。
• 計算強度と機関種別でモデルとトピックを分類し、拡散と検証のギャップを評価する。
• オープンソースモデルと構造化アクセスが計算格差の仲介に果たす役割を検討する。

実験結果

リサーチクエスチョン

• RQ1 拡大する計算格差はML研究エコシステムと、モデルをアクセス・評価・検証できる人をどのように影響するか？
• RQ2 大規模モデルのトレーニングにおける産業主導の支配と学術的貢献にはどのような結果があるか？
• RQ3 計算格差はMLアーティファクトの拡散・開放性・検証性にどのような影響を与えるか？
• RQ4 学術計算アクセスを拡大し安全性と説明責任を維持するための政策・ガバナンス手段は何か？

主な発見

• 学術研究所は大規模モデルへの寄与比率が縮小しており、2010年代初頭の約65%から2020年代初頭の約10%へと低下した。
• 2017年以降、産業専有の研究チームが大規模モデルのトレーニングを支配し、2022年には約81%に達した。
• NeurIPSの論文では、産業チームが非産業チームより約5倍のハードウェアを使用している。
• MLの要約における計算関連用語は、トピック（例：NLP）内の学術専属の論文数の減少と相関する（2012-2021）。
• オープンソースの事前学習済みモデル（例：BERT）は、産業のリリースがアクセシビリティと標準化を促進し、研究アジェンダに影響を与える。
• 産業著者の関与が高まるとコード公開の関係が悪化し、拡散が抑制される傾向を示唆する。