[논문 리뷰] Sensitivity-Guided Framework for Pruned and Quantized Reservoir Computing Accelerators

Atousa Jafari, Mahdi Taheri외 3명|arXiv (Cornell University)|2026. 02. 24.

Neural Networks and Reservoir Computing인용 수 0

한 줄 요약

감도 가이드 기반의 압축 프레임워크가 FPGA상 Reservoir Computing에서 양자화와 가지치기를 결합하여 정확도와 하드웨어 효율성 간의 설계 트레이드오프를 탐색하고, 엔드 투 엔드 가속기 합성을 가능하게 하며 전통적 가지치기 방법을 능가한다.

ABSTRACT

This paper presents a compression framework for Reservoir Computing that enables systematic design-space exploration of trade-offs among quantization levels, pruning rates, model accuracy, and hardware efficiency. The proposed approach leverages a sensitivity-based pruning mechanism to identify and remove less critical quantized weights with minimal impact on model accuracy, thereby reducing computational overhead while preserving accuracy. We perform an extensive trade-off analysis to validate the effectiveness of the proposed framework and the impact of pruning and quantization on model performance and hardware parameters. For this evaluation, we employ three time-series datasets, including both classification and regression tasks. Experimental results across selected benchmarks demonstrate that our proposed approach maintains high accuracy while substantially improving computational and resource efficiency in FPGA-based implementations, with variations observed across different configurations and time series applications. For instance, for the MELBOEN dataset, an accelerator quantized to 4-bit at a 15\% pruning rate reduces resource utilization by 1.2\% and the Power Delay Product (PDP) by 50.8\% compared to an unpruned model, without any noticeable degradation in accuracy.

연구 동기 및 목표

• 자원 제약이 있는 에지 디바이스에서 Reservoir Computing의 규모 확장 가능한 배치를 촉진하기 위해 모델 크기와 계산을 줄이되 정확성을 희생하지 않는다.
• 감도 가이드 가지치기 메커니즘을 개발하여 양자화된 가중치 중 덜 중요한 것을 식별하고 제거하여 정확도 손실을 최소화한다.
• 압축된 RC 모델을 FPGA에 엔드 투 엔드로 매핑하여 자원 사용량, 지연, 처리량 및 전력과 같은 하드웨어 지표를 연구한다.
• 양자화 수준, 가지치기 비율, 모델 정확도, 하드웨어 매개변수 간의 트레이드오프를 정량화하는 설계 공간 탐색 프레임워크를 제공한다.]
• method:[

제안 방법

• 각 가중치가 기능에 미치는 영향을 평가하는 감도 기반 분석을 도입하고, 양자화된 가중치의 비트 반전을 시뮬레이션하여 출력 성능 편차를 측정한다.
• 저수지 가중치를 선형 양자화 방식으로 양자화하고 활성화를 정수 단계로 매핑하는 하드웨어 친화적 간소화 방식으로 구현한다.
• 모든 비트 위치에 걸친 평균 성능 편차로 각 가중치의 감도 점수를 계산하고 주어진 가지치기 비율에 따라 감도 최고가 아닌 가중치를 가지치한다.
• 네 가지 단계의 가속기 합성 흐름을 사용한다: 데이터세트/구성, 하이퍼파라미터 최적화, 양자화 및 가지치기, 그 다음 RTL 생성 및 FPGA 합성.
• 양자화 수준과 가지치기 비율을 반복적으로 조정하여 여러 하드웨어 구현 구성을 생성하는 엔드 투 엔드 설계 공간 탐색 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 감도 가이드 가지치기가 양자화 하에 RC 정확도를 보존하는 데 있어 상관관계 기반 가지치기 방법과 비교하여 어떤 차이가 있는가?
• RQ2 FPGA 기반 RC 가속기의 다른 양자화/가지치기 구성이 하드웨어 성능(LUT/FF 사용량, 지연, 처리량, PDP)에 어떤 영향을 미치는가?
• RQ3 제안된 프레임워크가 다양한 시계열 작업에서 정확도와 자원 및 에너지 효율 간의 균형을 맞추는 최적의 양자화-가지치기 구성을 식별할 수 있는가?
• RQ4 가지치기 후 재학습이 필요한지 여부와 그것이 모델 규제화 및 일반화에 어떤 영향을 미치는가?

주요 결과

• 감도 가이드 가지치기는 4-, 6-, 8비트 양자화 및 가지치기 비율에서 정확도/RMSE 측면에서 덜 정교한 가지치기 방법보다 일관되게 성능이 떨어지는 경향이 있으며, 예외는 몇 가지 있다.
• MELBORN 분류에서 4비트 양자화와 15% 가지치기가 PDP 절약 50.88%를 달성하면서 자원 절감은 1.26%로 정확도는 보존된다.
• 다양한 데이터셋에서 감도 가이드 가지치기는 MI, 무작위, Spearman, PCA, Lasso 가지치기보다 정확도/ RMSE 저하가 작고 성능 저하가 느리게 나타난다.
• 하드웨어 결과는 직접 로직 FPGA 매핑으로 메모리 병목을 피하고 공격적인 가지치기에서도 처리량이 유지되거나 향상되며 PDP가 크게 감소하는 경향을 보인다.
• 이 프레임워크는 비트 폭, 가지치기 비율 및 하드웨어 지표 간의 설계 공간 탐색을 가능하게 하여 다양한 작업에 대한 최적화된 RC 가속기를 지원한다.