[논문 리뷰] Computational Cost Reduction in Learned Transform Classifications

Emerson Lopes Machado, Cristiano Jacques Miosso외 5명|arXiv (Cornell University)|2015. 04. 26.

Analog and Mixed-Signal Circuit Design참고 문헌 25인용 수 3

한 줄 요약

이 논문은 학습된 변환 기반 분류기에서 부동소수점 연산을 정수 산술과 비트 시프트로 대체하여 계산 비용을 줄이기 위한 xQuant 기법을 제안한다. 디버프 및 분류기 가중치를 2의 거듭제곱으로 양자화하고, 낮은 크기의 항목을 제거하며, 정수 입력을 사용함으로써, 정확도 손실 최소화로 FPGA에 효율적으로 구현할 수 있다. LAST 분류기에서 최대 50%의 비트 폭 감소를 입증하였고, 일부 데이터셋에선 정확도가 향상되기도 하였다.

ABSTRACT

We present a theoretical analysis and empirical evaluations of a novel set of techniques for computational cost reduction of classifiers that are based on learned transform and soft-threshold. By modifying optimization procedures for dictionary and classifier training, as well as the resulting dictionary entries, our techniques allow to reduce the bit precision and to replace each floating-point multiplication by a single integer bit shift. We also show how the optimization algorithms in some dictionary training methods can be modified to penalize higher-energy dictionaries. We applied our techniques with the classifier Learning Algorithm for Soft-Thresholding, testing on the datasets used in its original paper. Our results indicate it is feasible to use solely sums and bit shifts of integers to classify at test time with a limited reduction of the classification accuracy. These low power operations are a valuable trade off in FPGA implementations as they increase the classification throughput while decrease both energy consumption and manufacturing cost.

연구 동기 및 목표

• 학습된 변환 기반 이미지 분류기에서 부동소수점 연산의 높은 계산 비용과 에너지 소비 문제를 해결하기 위해, 특히 임베디드 및 FPGA 환경에서의 적용을 목적으로 한다.
• 디버프 및 분류기 파라미터의 동적 범위를 줄여 정밀도가 낮은 정수 계산이 가능하도록 하되, 정확도 저하를 최소화한다.
• 승수를 비트 시프트로 대체하고 ADC에서 직접 정수 입력을 사용함으로써 하드웨어 매핑을 효율적으로 구현한다.
• 2의 거듭제곱 양자화와 디버프 항목의 하드 스레시홀딩을 통해 일반화 성능을 향상시키고 과적합을 감소시킨다.
• LAST 분류기 외에도 ELM 및 DNN과 같은 행렬-벡터 기반 학습 모델에 적용 가능한 일반적이고 재사용 가능한 프레임워크를 개발한다.

제안 방법

• 디버프 및 분류기 학습 중 ℓ₂ 노름 정규화를 적용하여 항목의 동적 범위를 줄이고, 에너지가 낮은 표현을 선호한다.
• 절댓값이 학습된 임계값 이하인 디버프 항목을 0으로 설정함으로써 하드 스레시홀딩을 적용하고, 흐린도를 증가시키며 계산량을 줄인다.
• 부동소수점 입력을 그대로 ADC에서 유도된 정수 표현으로 대체하여 정규화 단계와 고비용 스케일링을 제거한다.
• 디버프 행렬 𝐷 와 분류기 가중치 벡터 𝐰의 각 항목을 가장 가까운 2의 거듭제곱으로 근사화하여 양자화함으로써 승수 연산을 비트 시프트로 대체한다.
• 이러한 기법들을 추론 시점 파이프라인에 통합하여 모든 부동소수점 승수 연산을 정수 덧셈과 비트 시프트로 대체한다.
• 학습된 변환 기반 분류기인 Learning Algorithm for Soft-Thresholding (LAST) 분류기에 전체 xQuant 프레임워크를 적용하였으며, 원래 평가에서 사용된 동일한 데이터셋을 사용하였다.

실험 결과

연구 질문

• RQ1 부동소수점 연산을 정수 산술과 비트 시프트로 대체함으로써, 학습된 변환 기반 분류기가 FPGA에 효율적으로 구현될 수 있는가?
• RQ2 디버프 및 분류기 가중치의 동적 범위를 줄이고 흐린도를 증가시키는 데 있어, 분류 정확도 유지 수준은 어느 정도인가?
• RQ3 디버프 및 분류기 파라미터를 2의 거듭제곱으로 양자화하면, 자원이 제한된 환경에서 일반화 성능 향상과 과적합 감소에 기여하는가?
• RQ4 정규화 없이 ADC에서 직접 유도된 정수 입력을 추론에 그대로 사용할 수 있는가? 이는 정확도 유지와 함께 계산 비용 절감에 기여하는가?
• RQ5 다양한 이미지 데이터셋에서 원래의 부동소수점 LAST 분류기와 비교해 볼 때, 제안된 xQuant 프레임워크는 정확도와 효율성 측면에서 어떤가?

주요 결과

• xQuant 프레임워크는 모든 테스트 데이터셋에서 행렬-벡터 곱 𝐷ᵀ𝑋 를 표현하는 데 필요한 비트 수를 약 50% 감소시켜 하드웨어 자원 요구량을 크게 낮췄다.
• MNIST 및 CIFAR-10에서는 분류 정확도가 수용 가능한 수준을 유지하였으며, 원본 부동소수점 모델 대비 오차율은 약간 증가하였다.
• bark_woodgrain 데이터셋에서는 xQuant 기법이 원본 모델보다 분류 정확도가 향상되어, 2의 거듭제곱 양자화로 인한 과적합 감소가 예상되는 결과를 보였다.
• ADC에서 직접 유도된 정수 입력을 사용함으로써 정규화 단계를 제거하고, 덧셈과 비트 시프트만으로도 효율적인 계산을 가능하게 하여 FPGA 설계의 에너지 소비와 면적 비용을 감소시켰다.
• 동적 범위 감소, 흐린도 증가, 2의 거듭제곱 양자화의 조합을 통해 부동소수점 승수 연산을 모두 비트 시프트로 완전히 대체함으로써 높은 처리량과 저전력 소비를 달성하였다.
• 제안된 기법들은 LAST 프레임워크에 국한되지 않고, ELM 및 DNN과 같은 다른 행렬-벡터 기반 분류기에도 일반화 가능하며 적용 가능하다.