[논문 리뷰] Stochastic Configuration Machines: FPGA Implementation

Matthew J. Felicetti, Dianhui Wang|arXiv (Cornell University)|2023. 10. 30.

Machine Learning and ELM인용 수 9

한 줄 요약

본 논문은 FPGA에서 이진 가중치를 갖는 SCM을 구현하고, 이진 입력 인코딩 스킴을 도입하며, 여러 데이터셋에 걸쳐 메모리 및 속도 이점을 가진 거의 PC 수준의 정확성을 입증한다.

ABSTRACT

Neural networks for industrial applications generally have additional constraints such as response speed, memory size and power usage. Randomized learners can address some of these issues. However, hardware solutions can provide better resource reduction whilst maintaining the model's performance. Stochastic configuration networks (SCNs) are a prime choice in industrial applications due to their merits and feasibility for data modelling. Stochastic Configuration Machines (SCMs) extend this to focus on reducing the memory constraints by limiting the randomized weights to a binary value with a scalar for each node and using a mechanism model to improve the learning performance and result interpretability. This paper aims to implement SCM models on a field programmable gate array (FPGA) and introduce binary-coded inputs to the algorithm. Results are reported for two benchmark and two industrial datasets, including SCM with single-layer and deep architectures.

연구 동기 및 목표

• 속도, 메모리, 전력 제약이 있는 산업용 애플리케이션을 위한 하드웨어 효율적인 신경망 모델을 동기부여한다.
• FPGA 배치를 위한 이진 가중치 SCM에 적합하도록 확률 구성 네트워크를 확장한다.
• 하드웨어에서 SCM 성능을 이끌어낼 이진 입력 인코딩 스킴을 도입하고 평가한다.
• 데이터셋 전반에서 정확도를 유지하면서 메모리 감소 및 전력/속도 이점을 입증한다.
• FPGA SCM 성능을 FPGA SCN 및 PC 구현과 비교한다.

제안 방법

• 기전 모델 포함 SCM 기본 원리의 검토와 요약.
• 하드웨어 제약에 맞도록 여러 인코딩 방식으로 입력을 이진 값으로 인코딩한다.
• XNOR-카운트와 고정 소수점 산술을 이용한 이진 도트곱 구현으로 FPGA에서 SCM을 구현한다.
• 메커니즘 모델 평가, 이진 가중치 은닉층 계산, 출력 가중치 최적화의 세 부분 파이프라인을 사용한다.
• 네 가지 데이터셋에서 단일층 및 심층 SCM 아키텍처를 평가하고, FPGA SCM과 PC SCM을 비교하며 RMSE 및 자원 지표를 보고한다.
• 노드별 람다 스케일링 인자와 이진 가중치를 저장하여 메모리 감소 전략을 제시한다.

실험 결과

연구 질문

• RQ1 이진 가중치를 갖는 SCM이 다양한 데이터셋에서 PC 구현에 비슷한 정확도를 유지할 수 있는가?
• RQ2 이진 입력 인코딩 스킴이 FPGA SCM의 성능과 메모리 사용에 어떤 영향을 미치는가?
• RQ3 단일층 SCM과 비교했을 때 심층 SCM 아키텍처가 정확도와 하드웨어 효율성에 미치는 영향은 무엇인가?
• RQ4 FPGA SCM 결과를 SCN 구현과 비교했을 때 속도, 메모리 및 전력 사용 측면은 어떠한가?
• RQ5 특성이나 특성이 서로 다른 산업용 데이터셋에 대해 FPGA SCM 성능을 최적화하는 인코딩 선택은 무엇인가?

주요 결과

• FPGA SCM은 테스트 구성 전반에서 PC SCM과 거의 동일한 정확도를 달성하며(예시는 여러 설정에서 RMSE 차이가 마이크로~피피엠 범위).
• 이진 입력 인코딩 스킴은 데이터셋 의존적 이득을 제공하며, 스킴 선택이 Table 1 결과의 학습/테스트 RMSE에 영향을 준다.
• 깊은 SCM 모델(예: 40-40-40 노드 구성)은 데이터셋과 활성화에 따라 0.008–0.034 범위의 RMSE로 높은 정확도를 유지한다.
• XNOR-count 기반 도트곱과 고정 소수점 산술은 곱셈기 없이 하드웨어 구현을 가능하게 하여 자원 사용을 줄인다.
• 노드별 람다 스케일링 값을 저장하고 은닉 가중치를 이진 형으로 표현하는(세 비트 람다 인코딩) 방식으로 메모리 감소를 달성한다.
• FPGA SCM 결과는 FPGA SCN 및 PC SCM 성능과 밀접하게 일치하며 하드웨어 친화적 정확도와 속도/전력 이점을 보여준다.