[論文レビュー] Reducing the Barriers to Entry for Foundation Model Training

Paolo Faraboschi, Ellis Giles+3 more|arXiv (Cornell University)|Apr 12, 2024

Hip disorders and treatmentsMedicine被引用数 3

ひとこと要約

この論文は、ハードウェア、ソフトウェア、システムレベルの共同設計を含む、AI学習インfraの根本的転換を提案する。これにより、基盤モデルのトレーニングにかかるコストとエネルギー消費を大幅に削減する。アナログ記憶内計算とエネルギーに基づくモデルを活用することで、入門障壁を低減し、大規模言語モデル開発における広範なアクセスとオープンイノベーションを促進する道筋を示している。

ABSTRACT

The world has recently witnessed an unprecedented acceleration in demands for Machine Learning and Artificial Intelligence applications. This spike in demand has imposed tremendous strain on the underlying technology stack in supply chain, GPU-accelerated hardware, software, datacenter power density, and energy consumption. If left on the current technological trajectory, future demands show insurmountable spending trends, further limiting market players, stifling innovation, and widening the technology gap. To address these challenges, we propose a fundamental change in the AI training infrastructure throughout the technology ecosystem. The changes require advancements in supercomputing and novel AI training approaches, from high-end software to low-level hardware, microprocessor, and chip design, while advancing the energy efficiency required by a sustainable infrastructure. This paper presents the analytical framework that quantitatively highlights the challenges and points to the opportunities to reduce the barriers to entry for training large language models.

研究の動機と目的

• 大規模基盤モデルのトレーニングに関連するコストとエネルギー消費の持続不可能な増加に対処すること。
• AIモデル開発における市場の集中を軽減し、イノベーションを制限し、技術格差を拡大する要因を解消すること。
• 計算的・財務的障壁の低減により、基盤モデルトレーニングへの広範な参加を可能にすること。
• トレーニングコストとエネルギー消費を劇的に削減するための画期的なハードウェアおよびアルゴリズム的手法を探索すること。
• 大規模なLLMトレーニングをより多くの組織や研究者にアクセス可能にするために、オープンイノベーションを促進すること。

提案手法

• スーパーコンピューティング、加速計算、およびマイクロプロセッサからデータセンタースケールまでのエネルギー効率の高いハードウェアを統合する共同設計フレームワークを提案する。
• 記憶装置内で計算を直接実行するアナログ記憶内計算（IMC）を導入し、高価なデジタル-アナログ変換を排除し、エネルギー消費を削減する。
• 推論には非揮発性ナノスケールメモリ（例：メモリスタReRAM）を、トレーニングにはアナログCMOSを活用することで、スケーラブルで低消費電力の動作を実現する。
• エネルギーに基づくモデル（EBM）を適用し、特に量子インスピレーションを受けるホフデルフィーニューラルネットワークを用いて、LLMトレーニングをネイティブな記号的空間における最適化問題に再定式化する。
• ミックスシグナル記憶回路と新規アナログエラー補正技術を用いて、精度のスケーリングを実現し、モデルトレーニングにおける複雑で高次の相互作用をサポートする。
• 入力空間の拡大を伴わずに、意味的関係を保持するトークン表現を再定式化することで、大規模パラメータ化されたアーキテクチャへの依存を低減する。

実験結果

リサーチクエスチョン

• RQ1 基盤モデルトレーニングを費用対効果よくかつ持続可能にするために、ハードウェア、ソフトウェア、システムアーキテクチャにどのようなシステム的変化が必要か。
• RQ2 アナログ記憶内計算は、大規模LLMトレーニングにおけるエネルギーと遅延のボトルネックをどのように軽減できるか。
• RQ3 プログラマブルな高次の相互作用を持つエネルギーに基づくモデルは、トレーニング効率を向上させ、計算コストを削減できるか。
• RQ4 ネイティブ空間における記号的トークン表現は、LLMにおける巨大なパラメータ化の必要性をどの程度排除できるか。
• RQ5 ミックスシグナル・アナログベースのシステムを用いたエンドツーエンドLLMトレーニングにおいて、スケーラビリティと精度のトレードオフはどのようなものか。

主な発見

• LLMトレーニングの成長トレンド—4か月ごとにパラメータ数が2倍に増加—は、持続不可能なコストとエネルギー消費を引き起こし、市場の集中を脅かす。
• 非揮発性ナノスケールメモリを推論に、アナログCMOSをトレーニングに用いることで、記憶装置内で計算を実行するアナログ記憶内計算は、エネルギー消費と遅延を顕著に削減できる。
• エネルギーに基づくモデル、特に量子インスピレーションを受けるホフデルフィーネットワークは、コンactな回路アーキテクチャで複雑で高次の相互作用をモデル化でき、解の探索空間を指数関数的に縮小する。
• 入力空間を拡大せずに、記号的かつ意味的関係を保持するトークン表現を採用することで、大規模なパラメータ数への依存を低減し、計算オーバーヘッドを削減できる。
• ミックスシグナル記憶回路とアナログエラー補正技術の統合により、実世界のLLMワークロードに適したスケーラブルで高精度なトレーニングが可能になる。
• ソフトウェア、アルゴリズム、ハードウェアの全領域にわたる共同設計アプローチが、コストとエネルギーの劇的削減を実現するために不可欠であり、基盤モデルトレーニングへのアクセスの民主化が可能になる可能性を秘めている。