[论文解读] Efficient logic architecture in training gradient boosting decision tree for high-performance and edge computing

Takuya Tanaka, Ryosuke Kasahara+1 more|arXiv (Cornell University)|Dec 20, 2018

Machine Learning and Data Classification参考文献 13被引用 4

一句话总结

本文提出一种用于在FPGA上加速梯度提升决策树（GBDT）训练的专用逻辑架构，相比CPU/GPU软件库，训练速度提升26–259倍，能效提升90–1,104倍。该设计通过优化二分类任务的内存访问与计算，实现了高性能且节能的GBDT训练，适用于边缘计算与高性能计算环境。

ABSTRACT

This study proposes a logic architecture for the high-speed and power efficiently training of a gradient boosting decision tree model of binary classification. We implemented the proposed logic architecture on an FPGA and compared training time and power efficiency with three general GBDT software libraries using CPU and GPU. The training speed of the logic architecture on the FPGA was 26-259 times faster than the software libraries. The power efficiency of the logic architecture was 90-1,104 times higher than the software libraries. The results show that the logic architecture suits for high-performance and edge computing.

研究动机与目标

• 为解决在边缘设备等资源受限环境中训练GBDT模型所面临的高计算与高能耗问题。
• 降低GBDT训练延迟并提升能效，尤其针对二分类任务。
• 设计一种面向FPGA部署的领域专用逻辑架构，以超越通用软件库的性能表现。
• 实现适用于实时与低功耗边缘计算应用的高性能GBDT训练。

提出的方法

• 在FPGA上设计专用逻辑架构，以加速GBDT训练中的关键操作，包括分裂评估与梯度计算。
• 优化内存访问模式，减少数据移动，提升树节点分裂过程中的带宽利用率。
• 实现并行处理单元，高效计算各特征的加权分位数与增益指标。
• 采用定点数运算与流水线数据通路，最小化延迟并最大化吞吐量。
• 集成自定义数据流，减少冗余计算，并支持高效的梯度与Hessian累积。
• 将GBDT训练流水线映射至FPGA硬件，最大限度减少对外部存储器的访问，充分利用片上块RAM与DSP资源。

实验结果

研究问题

• RQ1 与通用CPU和GPU软件库相比，基于FPGA的专用逻辑架构能否显著缩短GBDT训练时间？
• RQ2 在高性能计算与边缘计算场景中，硬件优化的GBDT训练架构能在多大程度上提升能效？
• RQ3 所提出的逻辑架构如何管理内存带宽与数据移动，以加速FPGA上的GBDT训练？
• RQ4 通过将GBDT算法与FPGA特定硬件特性协同设计，可实现哪些性能与能效提升？

主要发现

• 基于FPGA的逻辑架构相比CPU与GPU软件库，训练速度提升26–259倍。
• 所提出的架构相比评估的软件库，能效提升90–1,104倍。
• 在较大数据集上性能提升最为显著，硬件加速充分发挥了并行性并缓解了内存瓶颈。
• 该设计高效利用了FPGA资源，块RAM与DSP切片在梯度与分裂计算中得到充分利用。
• 结果证实，通过定制逻辑实现硬件加速在低延迟与能效受限环境中对GBDT训练极为有效。
• 由于功耗低且吞吐量高，该架构特别适用于边缘计算。