[論文レビュー] Choose Your Weapon: Survival Strategies for Depressed AI Academics

Julian Togelius, Georgios N. Yannakakis|arXiv (Cornell University)|Mar 31, 2023

Scientific Computing and Data Management被引用数 8

ひとこと要約

AIアカデミアがリソース格差に直面する中、ビッグテックに対抗するための複数の戦略を提示する視点記事。スケールダウン、ニッチな焦点、協働、スタートアップ、大学と産業界への政策提案を含む。

ABSTRACT

Are you an AI researcher at an academic institution? Are you anxious you are not coping with the current pace of AI advancements? Do you feel you have no (or very limited) access to the computational and human resources required for an AI research breakthrough? You are not alone; we feel the same way. A growing number of AI academics can no longer find the means and resources to compete at a global scale. This is a somewhat recent phenomenon, but an accelerating one, with private actors investing enormous compute resources into cutting edge AI research. Here, we discuss what you can do to stay competitive while remaining an academic. We also briefly discuss what universities and the private sector could do improve the situation, if they are so inclined. This is not an exhaustive list of strategies, and you may not agree with all of them, but it serves to start a discussion.

研究の動機と目的

• academia と産業界間の計算資源とデータアクセスの不均等性を踏まえ、AI研究者にキャリア options を見直させることを促す。
• 学術環境内で、あるいは代替の道を通じて、影響力あるAI研究を持続させるための現実的な戦略のカタログを提供する。
• 大学と産業界が、急速にスケールするAI環境の中で、学術研究者をより適切に支援する方法について議論を促す。

提案手法

• grand goals を諦める、スケールダウン、既存モデルの再利用または分析、小型モデルやエッジAIの追求、専門領域への特化、ニッチな問題の追求、起業/スタートアップの創出など、多様な戦略を提示する。
• 各戦略の実務的な考慮事項とトレードオフ（計算コスト、出版機関、協力、知的財産の影響）を検討する。
• 高リスク・高リターン研究とオープンな協力を支えるため、大学と産業界の改革を提唱する。

実験結果

リサーチクエスチョン

• RQ1 AIアカデミアが直面する計算資源/SOCの拡大に対応して、学術界と産業界の間での計算資源の制約を踏まえ、関連性を保ち生産性を維持するために取れる戦略は何か。
• RQ2 大学と大手産業プレイヤーが協力して、より広範なコミュニティに利益をもたらすオープンで高リスクなAI研究を支援するにはどうすればよいか。
• RQ3 スタートアップ、協力、ニッチなドメインは、学術AIのイノベーションを持続させるうえでどのような役割を果たすか。

主な発見

• 学術界と産業界の計算資源の格差が広がっているとの認識があり、それが研究者のキャリア選択に影響を与えている。
• スケールダウン、 toy 問題への焦点化、事前学習済みモデルの再利用または分析、小型モデルの追求、ニッチな領域のターゲティングなどの戦略が挙げられる。
• スタートアップと産業界との協力は利点を提供できる一方で、知財と出版のトレードオフを生む可能性がある；大学は高リスク研究を奨励するよう報酬の仕組みを改革できる。
• オープンソース化と学術–産業協力の強化は競争圧力を緩和するのに役立つ可能性がある。
• 大学はリスクを取る研究を評価し、基盤モデル風の協力を支援して学術的イノベーションをオープンに保つよう促される。