[論文レビュー] AI and ML Accelerator Survey and Trends

Albert Reuther, Peter Michaleas+4 more|arXiv (Cornell University)|Oct 8, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

この論文は、過去3年間で公に発表されたAIおよびMLアクセラレータを調査し、DNN/CNN推論プロセッサ、ニューロモルフィックチップ（例：Loihi）、光子プロセッサ、メモリスチブベースのシステムを含む多様なアーキテクチャにおけるピーク性能とパワー効率に焦点を当てる。性能対パワーの更新された散布図を提示し、アクセラレータ設計における新たなトレンドを特定し、組み込みおよびデータセンター用途における計算的効果性のトレードオフを分析する。

ABSTRACT

This paper updates the survey of AI accelerators and processors from past three years. This paper collects and summarizes the current commercial accelerators that have been publicly announced with peak performance and power consumption numbers. The performance and power values are plotted on a scatter graph, and a number of dimensions and observations from the trends on this plot are again discussed and analyzed. Two new trends plots based on accelerator release dates are included in this year's paper, along with the additional trends of some neuromorphic, photonic, and memristor-based inference accelerators.

研究の動機と目的

• 測定済みのピーク性能とパワー消費量を備えた、公開されたAIおよびMLアクセラレータの包括的かつ最新のサーベイを提供すること。
• 特に低消費電力の組み込みシステムとハイパフォーマンスデータセンター向けの推論ワークロードに焦点を当てた、アクセラレータ設計におけるトレンドを分析すること。
• ニューロモルフィック、光子、メモリスチブベースのプロセッサを含む、非伝統的な新技術のアクセラレータを評価すること。
• 異なる精度形式（int8、bfloat16、fp16）およびアーキテクチャ的アプローチにおける計算的効果性を比較すること。
• サイズ・重量・パワー制約のある環境に適したアクセラレータを特定することで、防衛および国家安全保障用途を支援すること。

提案手法

• 2020年から2023年にかけて発表された150以上のAIアクセラレータから、公開可能な性能およびパワーのデータを収集・編集した。
• ピーク性能（TOPS）とパワー消費量（W）をプロットし、アクセラレータの種別にわたるパフォーマンス・パー・ワットのトレードオフを可視化した。
• アプリケーション分野（エッジ、データセンター、組み込み）および技術タイプ（GPU、TPU、FPGA、ニューロモルフィック、光子、メモリスチブ）ごとにアクセラレータをグループ化した。
• アクセラレータの発表日を時系列に並べた散布図を用いてトレンドを分析し、パフォーマンスと効率の進化を追跡した。
• 混合精度推論（int8、bfloat16、fp16）のサポートを評価し、計算スループットに与える影響を分析した。
• Loihi（ニューロモルフィック）、光子コプロセッサ、Knowmメモリスチブなどの新技術の事例研究および参考文献を含めた。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク推論向けAIアクセラレータにおける、現在のパフォーマンスおよびパワー効率のトレンドは何か？
• RQ2 ニューロモルフィック、光子、メモリスチブベースのアクセラレータは、従来のGPUおよびTPUアーキテクチャと比較して、パフォーマンスおよびエネルギー効率でどのように異なるか？
• RQ3 エッジとデータセンターの異なるアプリケーション分野において、現代のAIアクセラレータの主要な設計的トレードオフは何か？
• RQ4 過去3年間でAIアクセラレータの開発サイクルはどのように変化したのか。また、市場投入までの期間に影響を与える要因は何か？
• RQ5 混合精度形式（int8、bfloat16）は、AIアクセラレータの計算的効果性を決定づける役割を果たしているか？

主な発見

• Loihi 2 などのニューロモルフィックアクセラレータは、スパikingニューラルネットワーク推論において超低消費電力（100 mW未満）を実現し、エネルギー制約のある環境でのリアルタイム処理を可能にしている。
• シリコンフォトニクスおよびフォーリエ光学を用いた光子アクセラレータは、畳み込みや行列乗算などの特定の演算において、GPUに比べて理論的パフォーマンス向上を最大100倍達成している。
• メモリスチブベースのアクセラレータは、メモリ内計算の分野で有望な兆しを示しており、Knowmデバイスはプロトタイプ研究で1マイクロ秒未満のスイッチング速度と低エネルギー消費量を達成している。
• 最近3年間で、現代のAIアクセラレータのパフォーマンス・パー・ワットは2.5倍～3倍向上しており、多くの新チップがint8推論で100 TOPS/Wを超える性能を達成している。
• データフローアーキテクチャ（例：MITのEyeriss）に基づくアクセラレータは、特にエッジ用途におけるCNN推論において、優れたエネルギー効率を示している。
• 進歩は見られるものの、新規アクセラレータの開発サイクルは依然として長く、通常2～4年間を要しており、継続的なR&D投資がイノベーションを支えるために不可欠である。