[論文レビュー] ALPINE: Analog In-Memory Acceleration with Tight Processor Integration for Deep Learning

Joshua Klein, Irem Boybat+7 more|arXiv (Cornell University)|May 20, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文は、深層学習推論用に、アナログ・インメモリコンピューティング（AIMC）アクセラレータをマルチコアARMプロセッサと密結合して統合できるフルシステムシミュレーションフレームワークALPINEを提示する。gem5にカスタムARMv8命令セット拡張とソフトウェアライブラリ（AIMCLib）を追加することで、CNN、MLP、LSTMに対して、SIMD対応デジタルCPUと比較して最大20.5倍の高速化と20.8倍のエネルギー削減を達成した。これは、ハードウェア・ソフトウェア共同最適化により、柔軟性を損なわず高パフォーマンスかつ高効率なAIワークロード実行が可能であることを示している。

ABSTRACT

Analog in-memory computing (AIMC) cores offers significant performance and energy benefits for neural network inference with respect to digital logic (e.g., CPUs). AIMCs accelerate matrix-vector multiplications, which dominate these applications' run-time. However, AIMC-centric platforms lack the flexibility of general-purpose systems, as they often have hard-coded data flows and can only support a limited set of processing functions. With the goal of bridging this gap in flexibility, we present a novel system architecture that tightly integrates analog in-memory computing accelerators into multi-core CPUs in general-purpose systems. We developed a powerful gem5-based full system-level simulation framework into the gem5-X simulator, ALPINE, which enables an in-depth characterization of the proposed architecture. ALPINE allows the simulation of the entire computer architecture stack from major hardware components to their interactions with the Linux OS. Within ALPINE, we have defined a custom ISA extension and a software library to facilitate the deployment of inference models. We showcase and analyze a variety of mappings of different neural network types, and demonstrate up to 20.5x/20.8x performance/energy gains with respect to a SIMD-enabled ARM CPU implementation for convolutional neural networks, multi-layer perceptrons, and recurrent neural networks.

研究の動機と目的

• 多様なニューラルネットワークタイプ、動的データフロー、さまざまな精度フォーマットをサポートしないスタンドアロンのアナログ・インメモリコンピューティング（AIMC）アクセラレータの柔軟性の欠如に対処する。
• AIMCの高パフォーマンスと一般用途CPUのプログラマビリティのギャップを埋めるために、ハードウェア・ソフトウェア共同最適化を可能にする密結合な統合を実現する。
• AIMCタイル、CPU、メモリ、Linuxオペレーティングシステム間の複雑な相互作用を正確にモデル化できる、検証済みのフルスタックシミュレーションフレームワークを構築する。
• 軽量なISA拡張と専用ソフトウェアライブラリを通じて、CNN、MLP、LSTMを含む多様なDNNをハイブリッドCPU-AIMCアーキテクチャに効率的にデプロイ可能にする。
• AIMCとCPUを密結合統合することで、システムの柔軟性を損なわず、各新しいモデル用に専用アクセラレータを必要としないままに、顕著なパフォーマンスおよびエネルギー効率の向上を達成できることを実証する。

提案手法

• ARMv8ベースのシステムに複数のAIMCタイルを密結合アクセラレータとして統合したフルシステムシミュレーションフレームワークを、gem5-Xシミュレータに拡張して実装した。
• AIMCタイルの操作を直接制御できるように、カスタムARMv8 64ビット命令セット拡張を設計・実装し、CPU主導のアクティベーションとデータ転送を可能にした。
• 低レベルのAIMC操作を抽象化するソフトウェアライブラリ（AIMCLib）を開発し、ハイブリッドアーキテクチャ上でのDNN推論ワークロードのデプロイを簡素化した。
• CNN（高速/中速/遅速バージョン）、MLP、LSTMのさまざまなDNNをハイブリッドシステムにマッピングし、細粒度のパイプライン処理と畳み込み層の選択的加速を実施した。
• カーネルと特徴マップをフラット化することでデータフロー最適化を実現し、AIMCタイルのカラムに格納して、並列でのMAC演算を効率的に行った。
• 低消費電力および高消費電力の設定でシステムレベルのシミュレーションを実施し、実際のワークロード下でのパフォーマンス、エネルギー、CPU使用率を評価した。

実験結果

リサーチクエスチョン

• RQ1 一般用途CPUと密結合されたアナログ・インメモリコンピューティング（AIMC）タイルの統合により、多様なDNNワークロードで顕著なパフォーマンスおよびエネルギー効率の向上を達成できるか？
• RQ2 カスタムISA拡張とソフトウェアライブラリの追加が、フルシステムシミュレーション環境におけるAIMCアクセラレータのプログラマビリティおよびデプロイ効率に与える影響はいかほどか？
• RQ3 完全にデジタルなSIMD最適化CPU実装と比較して、AIMC加速によりCNN、MLP、LSTMにおけるデータ移動をどの程度削減でき、計算効率を向上できるか？
• RQ4 特定の層（例：畳み込み層）のみをAIMCで加速し、他の層はCPUで処理する場合、パフォーランスとエネルギーのトレードオフはどのようなものか？
• RQ5 パイプライン化されたDNN推論ワークロードにおいて、CPUコアの不均一な使用率や通信ボトルネックは、システムがどのように処理するか？

主な発見

• ALPINEフレームワークは、OS、メモリ、カスタムハードウェアコンponents間の相互作用を含む、ハイブリッドCPU-AIMCアーキテクチャのフルシステムシミュレーションを成功裏に実現した。
• 最大のCNNバージョン（CNN-S）では、SIMD対応ARM CPU実装と比較して20.5倍の高速化と20.8倍のエネルギー削減を達成した。
• 畳み込み層2および3では、AIMCタイルによる加速により、CPUのアイドルサイクルが最大4倍減少し、IPC（1サイクルあたりの命令数）が最大3倍増加した。
• 全結合層ではCPUのアイドル時間が最も高かったことから、ボトルネックは層ごとに移動しており、データフローおよびメモリアクセスパターンのさらなる最適化が求められることが示された。
• パフォーマンス向上は、MLPやLSTMを含むさまざまなDNNタイプにわたり一貫しており、フレームワークが多様なニューラルネットワークリソースを効果的にサポートできる柔軟性を有していることが裏付けられた。
• カスタム命令とソフトウェア抽象化により、AIMCとCPUの密結合統合が可能となり、柔軟性を損なわず高効率な性能が実現されることを実証した。