[論文レビュー] Neuromorphic hardware for sustainable AI data centers

Bernhard Vogginger, Amirhossein Rostami+10 more|arXiv (Cornell University)|Feb 4, 2024

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本論文はデータセンターにおける持続可能なAIのためのニューロモルフィック・ハードウェアを分析し、現行システムを評価し、CPU/GPUと比較したベンチマークを行い、適切なワークロードを特定し、統合ガイドラインを概説する。

ABSTRACT

As humans advance toward a higher level of artificial intelligence, it is always at the cost of escalating computational resource consumption, which requires developing novel solutions to meet the exponential growth of AI computing demand. Neuromorphic hardware takes inspiration from how the brain processes information and promises energy-efficient computing of AI workloads. Despite its potential, neuromorphic hardware has not found its way into commercial AI data centers. In this article, we try to analyze the underlying reasons for this and derive requirements and guidelines to promote neuromorphic systems for efficient and sustainable cloud computing: We first review currently available neuromorphic hardware systems and collect examples where neuromorphic solutions excel conventional AI processing on CPUs and GPUs. Next, we identify applications, models and algorithms which are commonly deployed in AI data centers as further directions for neuromorphic algorithms research. Last, we derive requirements and best practices for the hardware and software integration of neuromorphic systems into data centers. With this article, we hope to increase awareness of the challenges of integrating neuromorphic hardware into data centers and to guide the community to enable sustainable and energy-efficient AI at scale.

研究の動機と目的

• AIデータセンターにおけるエネルギー使用の削減を動機づけ、持続可能性の目標に対処する。
• 既存のニューロモルフィック・ハードウェア・プラットフォームとデータセンター展開における成熟度を調査する。
• ニューロモルフィック・アプローチが優れている、または有望であるAIタスク、モデル、ワークロードを特定する。
• ニューロモルフィック・システムをデータセンターに統合するためのハードウェア、ソフトウェア、運用ガイドラインを導出する。

提案手法

• ASICとマルチチップ構成を中心に、脈絡性ベースとイベントベース、アナログ/デジタル/混成のニューロモルフィック・システムの分類法を提供する。
• 確立されたニューロモルフィック・プラットフォームを調査し、開発者・技術・スケール・ソフトウェアサポートで分類する。
• 選択したタスクにおけるエネルギーと時間のパフォーマンスを用いて、ニューロモルフィック・ソリューションを従来のCPU/GPUと比較する。
• 産業界と研究におけるAIワークロードを分析し、どのタスクがニューロモルフィック・アプローチの恩恵を最も受けるかを判断する。
• クラウド展開におけるハードウェアとソフトウェアの統合課題を議論し、ベストプラクティスを提案する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセンター展開に十分成熟したニューロモルフィック・ハードウェア・プラットフォームはどれか？
• RQ2 推論スケールで代表的なAIタスクにおけるエネルギー効率と遅延で、ニューロモルフィック・システムはCPU/GPUとどのように比較されるか？
• RQ3 データセンターにおけるニューロモルフィック加速に最も適しているAIワークロードとモデルはどれか？
• RQ4 持続可能なクラウドコンピューティングへニューロモルフィック技術を統合する際の主なハードウェア・ソフトウェア・運用上の障壁は何か？

主な発見

• ニューロモルフィック・ハードウェアは、(batch size 1)でいくつかのタスクに対して、GPUと比較して推論あたり3〜100xのエネルギー効率を達成できる。
• ニューロモルフィック・システムの速度向上はタスク依存であり、いくつかの状況では最大100x高速化されるが、より大きなバッチサイズでは利得が減少する可能性がある。
• エネルギーと性能の向上はプラットフォームごとに異なる。いくつかのシステムはエッジタスクで最適に機能する一方、他はクラウド規模ワークロードに適している。
• SpiNNaker、TrueNorth、Loihi、BrainScaleS、Tianjicの既存データセンター展開によって統合の実用性が裏付けられているが、現状のソフトウェアスタックは断片化している。
• 多くのクラウド指向ニューロモルフィック・プラットフォームではトレーニング機能が制限されており、推論のみを対象とするものもある。公正な比較のためにMLPerf/NeuroBenchのような標準ベンチマークが推奨される。