[논문 리뷰] Efficient logic architecture in training gradient boosting decision tree for high-performance and edge computing

Takuya Tanaka, Ryosuke Kasahara외 1명|arXiv (Cornell University)|2018. 12. 20.

Machine Learning and Data Classification참고 문헌 13인용 수 4

한 줄 요약

이 논문은 FPGAs에서 기울기 부스팅 결정 트리(GBDT) 학습을 가속화하기 위한 맞춤형 논리 아키텍처를 제안하며, CPU/GPU 소프트웨어 라이브러리 대비 26–259× 빠른 학습 속도와 90–1,104× 높은 에너지 효율성을 달성한다. 이 설계는 이진 분류를 위해 메모리 액세스와 계산을 최적화하여 엣지 및 고성능 컴퓨팅 환경에 적합한 고성능이고 에너지 효율적인 GBDT 학습을 가능하게 한다.

ABSTRACT

This study proposes a logic architecture for the high-speed and power efficiently training of a gradient boosting decision tree model of binary classification. We implemented the proposed logic architecture on an FPGA and compared training time and power efficiency with three general GBDT software libraries using CPU and GPU. The training speed of the logic architecture on the FPGA was 26-259 times faster than the software libraries. The power efficiency of the logic architecture was 90-1,104 times higher than the software libraries. The results show that the logic architecture suits for high-performance and edge computing.

연구 동기 및 목표

• 자원 제약이 있는 환경(예: 엣지 장치)에서 GBDT 모델을 학습하는 데 드는 높은 계산 비용과 에너지 소비 문제를 해결하기 위해.
• 특히 이진 분류 작업을 위한 GBDT의 학습 지연을 줄이고 에너지 효율성을 향상시키기 위해.
• 일반 목적 소프트웨어 라이브러리보다 뛰어난 성능을 내기 위해 FPGA에 최적화된 도메인 특화 논리 아키텍처를 설계하기 위해.
• 실시간 및 저전력 엣지 컴퓨팅 응용 분야에 적합한 고성능 GBDT 학습을 가능하게 하기 위해.

제안 방법

• GBDT 학습의 핵심 연산인 분할 평가 및 기울기 계산을 가속화하기 위해 FPGA에 특화된 논리 아키텍처를 설계한다.
• 트리 노드 분할 과정에서 데이터 이동을 줄이고 대역폭 활용도를 향상시키기 위해 메모리 액세스 패턴을 최적화한다.
• 특징별 가중 카운터와 이득 지표의 효율적 계산을 위해 병렬 처리 유닛을 구현한다.
• 지연을 최소화하고 처리량을 극대화하기 위해 고정소수점 산술과 파ipel라인 데이터 경로를 사용한다.
• 중복 계산을 최소화하고 기울기 및 헤시안 누적을 효율적으로 수행할 수 있도록 고유한 데이터 플로우를 통합한다.
• 외부 메모리 액세스를 최소화하고 현장 내부 블록 램과 DSP 자원을 활용하여 GBDT 학습 파이프라인을 FPGA 패브릭에 매핑한다.

실험 결과

연구 질문

• RQ1 일반 목적 CPU 및 GPU 소프트웨어 라이브러리 대비 FPGAs 기반 맞춤형 논리 아키텍처가 기울기 부스팅 결정 트리의 학습 시간을 크게 단축시킬 수 있는가?
• RQ2 하이퍼퍼포먼스 및 엣지 컴퓨팅 환경에서 하드웨어 최적화된 GBDT 학습 아키텍처가 에너지 효율성에 얼마나 기여할 수 있는가?
• RQ3 제안된 논리 아키텍처는 FPGAs에서 GBDT 학습을 가속화하기 위해 메모리 대역폭과 데이터 이동을 어떻게 관리하는가?
• RQ4 GBDT 알고리즘과 FPGA 전용 하드웨어 기능을 공동 설계함으로써 달성 가능한 성능 및 에너지 효율성 향상은 어느 정도인가?

주요 결과

• FPGA 기반 논리 아키텍처는 CPU 및 GPU 소프트웨어 라이브러리 대비 26–259× 빠른 학습 속도를 달성했다.
• 제안된 아키텍처는 평가된 소프트웨어 라이브러리 대비 90–1,104× 높은 에너지 효율성을 보였다.
• 성능 향상은 대규모 데이터셋에서 가장 두드러졌으며, 이는 하드웨어 가속이 병렬 처리를 최대한 활용하고 메모리 병목 현상을 줄였기 때문이다.
• 블록 램과 DSP 슬라이스를 기울기 및 분할 계산에 효율적으로 활용하여 FPGA 자원의 고도로 활용된 설계였다.
• 결과적으로 고지연 및 에너지 제약이 있는 환경에서 맞춤형 논리로의 하드웨어 가속이 매우 효과적임을 확인했다.
• 낮은 전력 소비와 높은 처리량으로 인해 엣지 컴퓨팅에 특히 적합한 아키텍처였다.