[論文レビュー] Efficient logic architecture in training gradient boosting decision tree for high-performance and edge computing

Takuya Tanaka, Ryosuke Kasahara+1 more|arXiv (Cornell University)|Dec 20, 2018

Machine Learning and Data Classification参考文献 13被引用数 4

ひとこと要約

本論文では、FPGA上で勾配ブースティング決定木（GBDT）学習を高速化するためのカスタム論理アーキテクチャを提案している。CPU/GPUソフトウェアライブラリと比較して、学習速度が26–259倍速くなり、消費電力効率は90–1,104倍向上した。本設計は二値分類を最適化しており、メモリアクセスと計算を最適化することで、エッジ環境およびハイパフォーマンスコンピューティング環境に適した高パフォーマンスかつ高エネルギー効率のGBDT学習を実現した。

ABSTRACT

This study proposes a logic architecture for the high-speed and power efficiently training of a gradient boosting decision tree model of binary classification. We implemented the proposed logic architecture on an FPGA and compared training time and power efficiency with three general GBDT software libraries using CPU and GPU. The training speed of the logic architecture on the FPGA was 26-259 times faster than the software libraries. The power efficiency of the logic architecture was 90-1,104 times higher than the software libraries. The results show that the logic architecture suits for high-performance and edge computing.

研究の動機と目的

• エッジデバイスなどのリソース制約のある環境でGBDTモデルを学習する際の高い計算コストとエネルギー消費を低減すること。
• 特に二値分類タスクにおいて、GBDTの学習遅延を短縮し、消費電力効率を向上させること。
• 一般用途のソフトウェアライブラリを凌駆するよう、FPGAに最適化されたドメイン特化型論理アーキテクチャを設計すること。
• リアルタイム処理および低消費電力のエッジコンピューティングアプリケーションに適した高パフォーマンスGBDT学習を実現すること。

提案手法

• FPGA上にGBDT学習のキーオペレーション（スプリット評価や勾配計算など）を高速化する専用論理アーキテクチャを設計する。
• 木のノードスプリット中にデータ移動を削減し帯域幅の利用効率を向上させるために、メモリアクセスパターンを最適化する。
• 特徴量ごとの重み付き分位点と利益指標の計算を効率的に行うための並列処理ユニットを実装する。
• 遅延を最小限に抑え、スループットを最大化するために、固定小数点演算とパイプライン型データパスを用いる。
• 重複計算を最小限に抑えるカスタムデータフローを統合し、効率的な勾配およびヘッセアンマトリクスの蓄積を可能にする。
• 外部メモリへのアクセスを最小限に抑えるように、GBDT学習パイプラインをFPGAファブリックにマッピングし、オンチップのブロックRAMおよびDSPリソースを活用する。

実験結果

リサーチクエスチョン

• RQ1 一般用途のCPUおよびGPUソフトウェアライブラリと比較して、FPGAベースのカスタム論理アーキテクチャは、勾配ブースティング決定木の学習時間を顕著に短縮できるか？
• RQ2 ハードウェア最適化されたGBDT学習アーキテクチャは、ハイパフォーマンスおよびエッジコンピューティング環境において、どの程度消費電力効率を向上させられるか？
• RQ3 提案された論理アーキテクチャは、FPGA上でGBDT学習を高速化するために、メモリ帯域幅とデータ移動をどのように管理しているか？
• RQ4 GBDTアルゴリズムとFPGA固有のハードウェア特徴を共同設計することで、どのようなパフォーマンスおよび消費電力効率の向上が達成可能か？

主な発見

• FPGAベースの論理アーキテクチャは、CPUおよびGPUソフトウェアライブラリと比較して、26–259倍の高速な学習速度を達成した。
• 提案されたアーキテクチャは、評価対象のソフトウェアライブラリと比較して、90–1,104倍高い消費電力効率を示した。
• 大規模データセットにおいて性能向上が最も顕著で、ハードウェア加速が並列処理を最大限に活用し、メモリバッファのボトルネックを効果的に低減した。
• ブロックRAMおよびDSPスライスを効率的に活用し、勾配およびスプリット計算においてFPGAリソースの高い利用率を達成した。
• 固定論理によるハードウェア加速が、低遅延およびエネルギー制限のある環境におけるGBDT学習に極めて効果的であることが確認された。
• 低消費電力と高スループットの両立が可能なため、本アーキテクチャはエッジコンピューティングに特に適している。