[논문 리뷰] Accelerating Generalized Linear Models with MLWeaving: A One-Size-Fits-All System for Any-precision Learning (Technical Report)

Zeke Wang, Kaan Kara외 4명|arXiv (Cornell University)|2019. 03. 08.

Neural Networks and Applications참고 문헌 132인용 수 4

한 줄 요약

MLWeaving는 비트-시리얼, 전치된 메모리 레이아웃과 FPGA 기반 하드웨어 가속을 통해 데이터베이스 내 일반선형모형 학습을 동적, 임의 정밀도로 가속화한다. 단일 하드웨어 설계로 정밀도 적응형 SGD를 효율적으로 실행하고 메모리 트래픽을 감소시켜, 저정밀도 CPU 대비 최대 16배의 성능 향상을 달성한다.

ABSTRACT

Learning from the data stored in a database is an important function increasingly available in relational engines. Methods using lower precision input data are of special interest given their overall higher efficiency but, in databases, these methods have a hidden cost: the quantization of the real value into a smaller number is an expensive step. To address the issue, in this paper we present MLWeaving, a data structure and hardware acceleration technique intended to speed up learning of generalized linear models in databases. ML-Weaving provides a compact, in-memory representation enabling the retrieval of data at any level of precision. MLWeaving also takes advantage of the increasing availability of FPGA-based accelerators to provide a highly efficient implementation of stochastic gradient descent. The solution adopted in MLWeaving is more efficient than existing designs in terms of space (since it can process any resolution on the same design) and resources (via the use of bit-serial multipliers). MLWeaving also enables the runtime tuning of precision, instead of a fixed precision level during the training. We illustrate this using a simple, dynamic precision schedule. Experimental results show MLWeaving achieves up to16 performance improvement over low-precision CPU implementations of first-order methods.

연구 동기 및 목표

• 데이터베이스 시스템에서 기계학습 학습 시 저정밀도 데이터 처리의 높은 메모리 오버헤드 문제를 해결하기 위해.
• 각 정밀도 수준에 맞는 별도의 마이크로아키텍처나 사전 정량화된 데이터 복사본이 필요 없도록 하기 위해.
• 성능 손실 없이 SGD 학습 중 동적 정밀도 선택을 가능하게 하기 위해.
• 비동기 CPU 접근 방식과 동등하거나 이를 초월하는 효율성을 갖춘 하드웨어 효율적인 FPGA 기반 동기 SGD를 달성하기 위해.
• 모든 정밀도 수준에서 일반선형모형에 대한 데이터 표현과 하드웨어 가속을 하나의 시스템으로 통합하기 위해.

제안 방법

• MLWeaving는 각 특징 값의 비트를 다른 메모리 세그먼트에 분산 저장함으로써 임의 정밀도에서 비트 수준의 액세스를 효율적으로 가능하게 하는 전치된 메모리 레이아웃을 사용한다.
• 데이터를 비트 스트림 형식으로 시리얼라이즈하여 하드웨어에서 비트-시리얼 곱셈을 통해 다양한 정밀도 수준에서 기울기 계산을 효율적으로 수행한다.
• FPGA 기반 SGD 가속기에서는 한 사이클에 한 비트 슬라이스씩 처리하여 이전 설계 대비 자원 사용을 줄이고 클럭 주파수를 높인다.
• 각 에포크마다 특징당 더 많은 또는 더 적은 비트를 읽는 방식으로 정밀도를 동적으로 조정할 수 있어 학습 중 정밀도 적응이 가능하다.
• 동기 SGD 실행 모델을 FPGA에 적용하여 고성능 하드웨어 효율성을 확보하면서도 빠른 수렴을 유도한다.
• 컬럼 스토어 데이터베이스(DoppioDB)와 통합되어 현장 메모리를 활용해 외부 메모리 이동을 최소화한다.

실험 결과

연구 질문

• RQ1 각 정밀도 수준에서 별도의 마이크로아키텍처 없이도 단일 하드웨어 가속기가 스티어티식 기울기 하강법을 효율적으로 지원할 수 있는가?
• RQ2 일반선형모형 학습 시 저정밀도 입력을 사용할 때 데이터베이스 시스템이 메모리 트래픽과 데이터 이동 오버헤드를 어떻게 최소화할 수 있는가?
• RQ3 FPGA에서 동기 SGD가 비동기 CPU 접근 방식과 동등하거나 이를 초월하는 하드웨어 효율성을 달성할 수 있는가?
• RQ4 어떤 메모리 내 데이터 레이아웃이 사전 정량화 없이도 임의 정밀도 수준에서 효율적이고 동적 데이터 검색을 가능하게 하는가?
• RQ5 FPGA에서 비트-시리얼 계산이 전통적인 워드-패러럴 접근 방식에 비해 자원 활용도와 처리량 측면에서 저정밀도 학습에 더 우수한 성능을 낼 수 있는가?

주요 결과

• MLWeaving는 일반선형모형 학습에서 최신 저정밀도 1차 CPU 구현 대비 최대 16배의 성능 향상을 달성한다.
• FPGA 기반 구현은 이전 FPGA 가속기 대비 저정밀도 SGD를 위해 필요한 자원의 약 1/3만을 사용한다.
• 메모리 대역폭 활용도 향상과 더 높은 클럭 주파수 덕분에 이전 FPGA 설계 대비 데이터 처리 속도를 두 배로 높였다.
• MLWeaving는 학습 중 동적 정밀도 조정을 가능하게 하여 비동기 CPU 대비 더 적은 에포크 수로 수렴을 달성한다.
• 전치된 비트 수준 메모리 레이아웃은 정밀도 수준에 비례해 메모리 액세스 횟수를 감소시켜 정밀도가 낮아질수록 선형적인 성능 향상을 달성한다.
• 현장 메모리를 활용해 최대 32K 차원의 모델을 지원하며, 향후 더 큰 FPGA에서의 확장 가능성도 확보되어 있다.