[논문 리뷰] A Hardware-Efficient ADMM-Based SVM Training Algorithm for Edge Computing

Shuo-An Huang, Chia‐Hsiang Yang|arXiv (Cornell University)|2019. 07. 23.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 6

한 줄 요약

이 논문은 Nyström 방법을 통한 저질서 근사법을 사용하여 계산 및 메모리 오버헤드를 줄이기 위해 하드웨어 효율적인 ADMM 기반 SVM 학습 알고리즘을 제안한다. 사전 계산, 메모리 공유 및 공통 EVD 하드웨어 통합을 통해 설계는 계산 복잡도를 62% 감소시키고 메모리 사용량을 60% 줄였으며, 실시간 간질 발작 감지 칩에서 CPU 대비 153,310배 높은 에너지 효율성을 달성한다.

ABSTRACT

This work demonstrates a hardware-efficient support vector machine (SVM) training algorithm via the alternative direction method of multipliers (ADMM) optimizer. Low-rank approximation is exploited to reduce the dimension of the kernel matrix by employing the Nyström method. Verified in four datasets, the proposed ADMM-based training algorithm with rank approximation reduces 32$ imes$ of matrix dimension with only 2% drop in inference accuracy. Compared to the conventional sequential minimal optimization (SMO) algorithm, the ADMM-based training algorithm is able to achieve a 9.8$ imes$10$^7$ shorter latency for training 2048 samples. Hardware design techniques, including pre-computation and memory sharing, are proposed to reduce the computational complexity by 62% and the memory usage by 60%. As a proof of concept, an epileptic seizure detector chip is designed to demonstrate the effectiveness of the proposed hardware-efficient training algorithm. The chip achieves a 153,310$ imes$ higher energy efficiency and a 364$ imes$ higher throughput-to-area ratio for SVM training than a high-end CPU. This work provides a promising solution for edge devices which require low-power and real-time training.

연구 동기 및 목표

• 엔드 디바이스에서 온라인 SVM 학습의 높은 계산 복잡도와 메모리 사용량 문제를 해결한다.
• 변화하는 환경에서 사전 학습된 모델의 한계를 극복하기 위해 실시간, 저전력 내장 SVM 모델 적응을 가능하게 한다.
• 고성능 추론 정확도를 유지하면서 실리콘 면적과 에너지 소비를 최소화하는 하드웨어 매핑 전략을 개발한다.
• 실리콘 검증된 간질 발작 감지 칩을 통해 내장 SVM 학습의 실현 가능성을 입증한다.
• 알고리즘-하드웨어 공동 설계 기법을 통해 계산 복잡도와 메모리 사용량을 크게 감소시킨다.

제안 방법

• ADMM(교차 방향 다중 승수 방법)를 적용하여 SVM 학습 문제를 순환 의존성이 적은 분해 가능한 최적화 구조로 재구성함으로써 하드웨어 병렬 처리를 가능하게 한다.
• 핵심 행렬의 저질서 근사를 위해 Nyström 방법을 적용하여 차원을 256×256에서 16×16으로 감소시켜 계산 복잡도를 97% 감소시키고 메모리 사용량을 87% 절감한다.
• 역행렬의 사전 계산과 중간 변수(예: Z, θ)의 재사용을 도입하여 각각 계산 복잡도를 22%와 51% 감소시킨다.
• Nyström 방법과 선형 시스템 해법 단계에서 공통으로 사용하는 고유값 분해(EVD) 하드웨어 유닛을 공유함으로써 실리콘 면적을 37% 감소시킨다.
• 공유 메모리 뱅크와 레지스터 파일을 갖춘 시스톨릭 CORDIC 기반 처리 요소 어레이를 구현하여 중간 변수의 시간적 재사용을 통해 메모리 사용량을 60% 절감한다.
• 단일 사이클 회전을 갖는 근사 자지 방법을 사용한 EVD로 기존 순환 자지 방법 대비 수렴 속도를 8.9배 향상시키고 지연 시간을 98.6% 감소시켰다.

실험 결과

연구 질문

• RQ1 ADMM 기반 SVM 학습이 엣지 디바이스에서 실시간 내장 배포에 적합한 하드웨어 효율성을 확보할 수 있는가?
• RQ2 Nyström 방법을 통한 저질서 근사를 통해 비선형 SVM 학습의 계산 및 메모리 오버헤드는 어느 정도 감소할 수 있는가?
• RQ3 반복적인 ADMM 업데이트의 계산 복잡도를 줄이기 위해 사전 계산과 공통 항목 재사용은 얼마나 효과적인가?
• RQ4 여러 단계(예: Nyström 및 선형 해법)에서 공통으로 사용하는 EVD 하드웨어는 면적과 전력 소비를 크게 줄일 수 있는가?
• RQ5 맞춤형 ASIC에 ADMM 기반 SVM 학습 알고리즘을 매핑했을 때 에너지 효율성과 처리량 대비 면적 비율에서 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 ADMM 기반 SVM 학습 알고리즘에 Nyström 저질서 근사법을 적용하여 핵심 행렬 차원을 256×256에서 16×16으로 감소시켜 계산 복잡도를 97% 감소시키고 메모리 저장량을 87% 절감하였다.
• 사전 계산과 공통 항목 조합을 통해 계산 복잡도를 62% 감소시키고, 중간 변수의 메모리 공유를 통해 메모리 사용량을 60% 절감한 하드웨어 설계를 구현하였다.
• 공유된 EVD 하드웨어 유닛은 ADMM 업데이트 단계에서 Nyström 근사와 선형 시스템 해법을 모두 처리함으로써 실리콘 면적을 37% 감소시켰다.
• 근사 자지 방법은 기존 순환 자지 방법 대비 EVD 수렴 속도를 8.9배 향상시키고 처리 지연 시간을 98.6% 감소시켰다.
• 구현된 간질 발작 감지 칩은 0.78초 내에 SVM 학습을 수행하며 전력 소모는 2.9 mW에 불과하여 Intel i7-2600 CPU 대비 153,310배 높은 에너지 효율성과 364배 높은 처리량 대비 면적 비율을 달성하였다.
• 질서 감소에도 불구하고 모델은 높은 추론 정확도를 유지하였으며, 네 가지 벤치마크 데이터셋에서 매트릭스 차원을 32배 감소시켜도 정확도가 단지 2% 감소하였다.