[論文レビュー] A Hardware-Efficient ADMM-Based SVM Training Algorithm for Edge Computing

Shuo-An Huang, Chia‐Hsiang Yang|arXiv (Cornell University)|Jul 23, 2019

Sparse and Compressive Sensing Techniques参考文献 25被引用数 6

ひとこと要約

本稿では、Nyström法による低ランク近似を用いて計算量とメモリ使用量を削減することで、ハードウェアに優れたADMMベースのSVM学習アルゴリズムを提案する。事前計算、メモリ共有、共通のEVDハードウェアの統合により、計算複雑性が62%低減され、メモリ使用量が60%削減され、リアルタイムのてんかん発作検出チップにおいてCPUより153,310倍高いエネルギー効率を達成する。

ABSTRACT

This work demonstrates a hardware-efficient support vector machine (SVM) training algorithm via the alternative direction method of multipliers (ADMM) optimizer. Low-rank approximation is exploited to reduce the dimension of the kernel matrix by employing the Nyström method. Verified in four datasets, the proposed ADMM-based training algorithm with rank approximation reduces 32$ imes$ of matrix dimension with only 2% drop in inference accuracy. Compared to the conventional sequential minimal optimization (SMO) algorithm, the ADMM-based training algorithm is able to achieve a 9.8$ imes$10$^7$ shorter latency for training 2048 samples. Hardware design techniques, including pre-computation and memory sharing, are proposed to reduce the computational complexity by 62% and the memory usage by 60%. As a proof of concept, an epileptic seizure detector chip is designed to demonstrate the effectiveness of the proposed hardware-efficient training algorithm. The chip achieves a 153,310$ imes$ higher energy efficiency and a 364$ imes$ higher throughput-to-area ratio for SVM training than a high-end CPU. This work provides a promising solution for edge devices which require low-power and real-time training.

研究の動機と目的

• エッジデバイスにおけるオンラインSVM学習の高い計算複雑性とメモリ使用量の課題に対処すること。
• 動的環境における事前学習済みモデルの限界を克服し、リアルタイムで低消費電力のオンチップSVMモデル適合を可能にすること。
• 高い推論精度を維持しながら、シリコン面積と消費電力を最小限に抑えるハードウェアマッピング戦略の開発。
• シリコン実装済みのてんかん発作検出チップを通じて、オンチップSVM学習の実現可能性を実証すること。
• アルゴリズムとハードウェアの共同最適化技術により、計算複雑性とメモリ使用量を顕著に低減すること。

提案手法

• SVM学習問題を、ループ依存性が少ない分解可能な最適化構造に再定式化するため、交替方向乗数法（ADMM）を採用し、ハードウェア並列処理を可能にする。
• カーネル行列の低ランク近似にNyström法を適用し、行列次元を256×256から16×16に削減することで、計算複雑性を97%削減し、メモリ使用量を87%削減する。
• 逆行列の事前計算と中間変数（例：Z, θ）の再利用により、計算複雑性をそれぞれ22%および51%削減する。
• Nyström法とADMM更新フェーズにおける線形方程式解法の両方で共通の固有値分解（EVD）ハードウェアユニットを共有することで、シリコン面積を37%削減する。
• 共有メモリバンクとレジスタファイルを備えたステレオイダルCORDICベースの処理要素アレイを実装し、中間変数の時間的再利用により、メモリ使用量を60%削減する。
• 1サイクル回転を実現する近似ジャコビ法を用いることで、従来の巡回ジャコビ法と比較してEVDの収束速度が8.9倍速くなり、処理遅延が98.6%削減される。

実験結果

リサーチクエスチョン

• RQ1 ADMMベースのSVM学習は、エッジデバイスのオンチップ実装に十分なハードウェア効率を持つようにできるか？
• RQ2 Nyström法による低ランク近似は、非線形SVM学習の計算量とメモリ使用量をどの程度削減できるか？
• RQ3 繰り返しADMM更新における事前計算と共通項の再利用は、計算複雑性の低減にどの程度効果的か？
• RQ4 EVDハードウェアをNyströmフェーズと線形方程式解法の両フェーズで共有することは、面積と消費電力の削減に顕著な効果をもたらすか？
• RQ5 カスタムASICにADMMベースのSVM学習アルゴリズムをマッピングすることで、エネルギー効率とスループット/面積比にどの程度の向上が得られるか？

主な発見

• 提案されたNyström法による低ランク近似を施したADMMベースのSVM学習アルゴリズムにより、カーネル行列の次元が256×256から16×16に削減され、計算複雑性が97%低減され、メモリ使用量が87%削減された。
• 事前計算と共通項の統合により計算複雑性が62%低減され、中間変数のメモリ共有によりメモリ使用量が60%削減された。
• EVDハードウェアを共通化することで、Nyström近似とADMM更新フェーズの線形方程式解法の両方で使用され、シリコン面積が37%削減された。
• 近似ジャコビ法により、EVDの収束速度が8.9倍速くなり、従来の巡回ジャコビ法と比較して処理遅延が98.6%削減された。
• 実装済みの発作検出チップは、2.9 mWの消費電力で0.78秒間でSVM学習を実行し、Intel i7-2600 CPUと比較して153,310倍高いエネルギー効率と364倍高いスループット/面積比を達成した。
• ランクの低減にもかかわらず、モデルは高い推論精度を維持しており、4つのベンチマークデータセットで行列次元を32倍に低減しても、精度はわずか2%低下した。