[論文レビュー] X-TIME: An in-memory engine for accelerating machine learning on tabular data with CAMs

Giacomo Pedretti, J. W. Moon+12 more|arXiv (Cornell University)|Apr 3, 2023

Network Packet Processing and Optimization被引用数 4

ひとこと要約

X-TIMEは、高精度のアナログコンテンツアドレスラブルメモリ（aCAM）を用いた、メモリ内計算アーキテクチャを提案する。このアーキテクチャにより、XGBoost や CatBoost などの木構造機械学習モデルの推論が高速化される。決定木をアナログCAMアレイに直接マッピングし、特徴値を保存された決定範囲と並列かつイン・サイトで比較することで、19Wの消費電力でV100 GPUに比べて9740倍の遅延低減と119倍のスループット向上を達成。メモリストレージの変動に対してもアンサンブル平均化により耐性を発揮する。

ABSTRACT

Structured, or tabular, data is the most common format in data science. While deep learning models have proven formidable in learning from unstructured data such as images or speech, they are less accurate than simpler approaches when learning from tabular data. In contrast, modern tree-based Machine Learning (ML) models shine in extracting relevant information from structured data. An essential requirement in data science is to reduce model inference latency in cases where, for example, models are used in a closed loop with simulation to accelerate scientific discovery. However, the hardware acceleration community has mostly focused on deep neural networks and largely ignored other forms of machine learning. Previous work has described the use of an analog content addressable memory (CAM) component for efficiently mapping random forests. In this work, we develop an analog-digital architecture that implements a novel increased precision analog CAM and a programmable chip for inference of state-of-the-art tree-based ML models, such as XGBoost, CatBoost, and others. Thanks to hardware-aware training, X-TIME reaches state-of-the-art accuracy and 119x higher throughput at 9740x lower latency with >150x improved energy efficiency compared with a state-of-the-art GPU for models with up to 4096 trees and depth of 8, with a 19W peak power consumption.

研究の動機と目的

• テーブルデータを対象とする大規模な木構造機械学習モデルを用いたリアルタイム応用における超低遅延推論の増大するニーズに対応する。
• 大規模な木構造アンサンブルにおける不規則なメモリアクセスとスレッド同期の問題により生じるCPUおよびGPUの性能ボトルネックを克服する。
• スケーラブルでエネルギー効率の高い推論を実現するため、高精度アナログCAMと再構成可能オンチップネットワークを統合した包括的なメモリ内アーキテクチャを設計する。
• 1つのチップ上で多様な木構造モデル（回帰、多クラス分類）と推論手法（例：入力バッチ処理）をサポートできるようにする。
• メモリストレージの導電度の変動やDAC入力エラーといった実世界のハードウェア欠陏に対して、アーキテクチャ的耐性と誤差低減技術を用いて耐性を確保する。

提案手法

• 決定閾値をメモリストレージベースのCAMセルに格納されたアナログ範囲としてエンコードすることで、決定木をアナログCAMアレイにマッピングする。
• 従来の4ビット設計に比べ、分解能と正確性を向上させるために、新規の8ビット精度アナログCAMセル設計を実装する。
• コア内SRAMを用いてリーフ値を格納し、1つのコア内で複数の木構造に対して局所的集計を実行する。
• 4096コアを接続する再構成可能なHツリー型オンチップネットワーク（NoC）を採用し、スケーラブルなデータフローとモデルマッピングを実現する。
• ネットワーク内での集計論理を統合し、データがNoCを通過する際にリーフ出力を集約することで、データ移動を最小限に抑える。
• 欠陏に配慮した設計原理を採用し、TaOxメモリストレージと16nmアナログ回路からの実験的データを用いて、ハードウェア変動に起因する精度低下をモデル化・低減する。

実験結果

リサーチクエスチョン

• RQ1 8ビット精度を有するアナログCAMは、従来の4ビット設計に比べ、木構造機械学習推論の精度と性能を顕著に向上させるか？
• RQ2 再構成可能なNoCとメモリ内計算を統合することで、多様な木構造モデルトポロジーにわたるスケーラブルで低遅延の推論が可能になるか？
• RQ3 本提案アーキテクチャは、メモリストレージの導電度変動やDAC入力エラーといった実世界のハードウェア欠陏に対して、どの程度耐性を示すか？
• RQ4 大規模な木構造アンサンブル（例：100万ノード以上）に対して、最先端のGPUおよびFPGAアクセラレータと比較して、遅延およびスループットにどの程度の向上が得られるか？
• RQ5 複雑なモデルと多様な推論ワークロードをサポートしつつ、高エネルギー効率（例：1決定あたりの低エネルギー）を維持できるか？

主な発見

• X-TIMEは、Churnモデリングデータセットにおいて、NVIDIA V100 GPUに比べて9740倍の遅延低減と119倍のスループット向上を達成し、遅延はわずか約100ナノ秒にまで低下する。
• システムは、木の数やリーフの数に関係なく一定の遅延とスループットを維持する。これは、GPUやFPGAとは異なり、モデルサイズに比例してスケーリングしない。
• ピーク消費電力はたったの19Wであり、1決定あたりのエネルギー効率は0.3nJ/決定にまで低下し、GPUおよびSRAMベースのアクセラレータを大きく上回る。
• ハードウェア欠陏に対して耐性を示す：メモリストレージの反転確率が0.2%でも、精度低下は0.5%未満に抑えられる。これは、木構造モデルのアンサンブル性によるものである。
• 8ビットアナログCAM設計により、従来の研究に比べて分解能が2倍に向上し、面積や消費電力効率を犠牲にすることなく高い精度を実現できる。
• 再構成可能なNoCとネットワーク内集計により、入力バッチ処理や多クラス分類を含む多様なワークロードに対する効率的なサポートが可能となり、データ移動を最小限に抑える。