[논문 리뷰] Applying the Residue Number System to Network Inference

Mohamed R. Abdelhamid, Skanda Koppula|arXiv (Cornell University)|2017. 12. 13.

Cryptography and Residue Arithmetic참고 문헌 4인용 수 10

한 줄 요약

이 논문은 신경망 추론을 가속화하기 위해 표준 산술을 RNS 기반의 곱셈과 덧셈으로 대체하여, 다중화기에서 최대 48%의 에너지 소비 감소를 이룩하고, 저전력 하드웨어에서 에너지 효율적인 추론을 가능하게 한다. 이 방법은 RNS의 병렬성과 효율적인 모듈로 산술을 활용하며, 실험 결과 6비트 정수 제약 조건 하에서도 타당한 정확도를 확보하고, 완전히 연결된 층에서 에너지 절감의 유리한 절점이 도출된다.

ABSTRACT

This work explores the lesser studied objective of optimizing the multiply-and-accumulates executed during evaluation of the network. In particular, we propose using the Residue Number System (RNS) as the internal number representation across all layer evaluations, allowing us to explore usage of the more power-efficient RNS multipliers and adders. Using results from simulation of our RNS arithmetic block implementations, we show theoretical power advantages of using RNS for an end-to-end evaluator.

연구 동기 및 목표

• 잔여수체계(RNS)를 신경망 추론의 대체 수치 표현으로 활용하여, 특히 에너지 효율성 향상을 탐색하는 것.
• 기존 32비트 산술을 RNS 기반 계산으로 대체하여, 신경망 추론의 핵심 장애물인 곱셈-누적(MAC) 연산의 에너지 및 면적 오버헤드를 줄이는 것.
• 모듈러 범위 내에서 고정소수점 가중치와 활성화를 사용하여 훈련함으로써 RNS 제약 조건 하에서도 네트워크 정확도를 유지할 수 있는지 평가하는 것.
• RNS 기반 추론이 기존 추론보다 더 에너지 효율적인지 판단하기 위해, 특히 완전히 연결된 층과 컨볼루션 층에서의 에너지 절감의 절점(보상점)을 도출하는 것.
• Verilog를 사용하여 RNS 전용 하드웨어 모듈(더블러, 곱셈기, ReLU, 비교기 모듈)을 구현하고, 65nm CMOS 공정을 통해 전력, 면적, 지연 시간을 평가하는 것.

제안 방법

• 논문은 정수를 RNS로 표현하기 위해 4개의 모듈로 집합 {2^7−1, 2^7+1, 2^8−1, 2^8+1}을 사용하며, 이는 32비트 저장 공간에서 28비트 등가 범위를 제공하고, 상호소수 조건을 만족시켜 유일한 표현을 보장한다.
• RNS 산술은 요소별로 수행되며, 덧셈과 곱셈은 각각의 모듈로에 대해 모듈로 연산을 수행함으로써 병렬적이고 저전력인 계산이 가능하며, 최적화된 RNS 더블러 및 곱셈기 아키텍처를 활용한다.
• ReLU 비선형성을 지원하기 위해 RNS 차이의 기현성 검사 기반 비교 모듈을 구현하였으며, 논리 복잡도를 줄이기 위해 M/2에서 임계값 설정을 위한 단순화된 '반분 비교기'를 사용한다.
• ReLU 및 비교기 모듈은 기존의 RNS 비교 기법을 수정한 조합 논리 회로로 구현되었으며, 효율성을 높이기 위해 사전 계산된 기현성 값이 사용된다.
• 하드웨어 모듈(더블러, 곱셈기, 변환기, ReLU, 비교기)은 Bluespec/SystemVerilog로 설계되었고, 65nm CMOS 공정을 통해 합성되어 전력, 면적, 지연 시간을 추정하였다.
• 전체 네트워크 추론 파이프라인은 SVHN 데이터셋에 대해 6층의 CNN/FC 네트워크를 6비트 정수 가중치와 활성화로 훈련하여 RNS 제약 조건 하에서의 정확도를 전체 정밀도 및 32비트 정수 기준과 비교하여 시뮬레이션하였다.

실험 결과

연구 질문

• RQ1 RNS 기반 산술은 신경망 추론, 특히 곱셈-누적(MAC) 유닛에서 에너지 소비를 줄일 수 있는가?
• RQ2 RNS 표현에 적합한 모듈러 범위 내에서 고정소수점 정수로 제약을 둘 경우 정확도 저하 정도는 어떠한가?
• RQ3 RNS 기반 MAC 유닛의 에너지 절감 효과가 RNS 전용 ReLU 및 비교기 연산의 오버헤드를 상회하기 시작하는 레이어 크기나 네트워크 구성은 무엇인가?
• RQ4 표준 CMOS 공정에서 RNS 하드웨어 모듈의 전력, 면적, 지연 시간은 32비트 대비 어떻게 비교되는가?
• RQ5 표준 이진수로의 변환 없이도 RNS 산술만으로도 종단 간 추론(활성화 함수 및 출력 선택 포함)을 수행하는 것이 가능한가?

주요 결과

• RNS 곱셈기는 1.56 mW의 전력을 소비하여 32비트 곱셈기(3.04 mW) 대비 48.7%의 전력 절감을 달성했으며, 95.4 ps의 양의 슬랙을 확보해 더 높은 클럭 주파수를 지원할 수 있다.
• RNS 더블러는 1.18 mW의 전력을 소비하여 32비트 더블러(1.05 mW)보다 略로 높지만, 동일한 주파수에서 동작하며 개선된 타이밍 마진을 확보하였다.
• SVHN 데이터셋에서 RNS 제약 조건을 적용한 (6,6)-FP 네트워크는 테스트 오차율 6.69%를 기록하였으며, (32,32)-FP 기준(3.95%) 대비 2.74% 상승하여 RNS 제약 조건 하에서도 중간 정도의 정확도 저하가 발생하였다.
• (6,6)-INT 네트워크는 테스트 오차율 7.07%를 기록하여 (32,32)-INT 기준(4.54%) 대비 2.53%의 정확도 저하를 보였으며, 이는 정수 양자화가 추가적인 훈련 불안정성을 유발할 수 있음을 시사한다.
• 절점 분석 결과, RNS 기반 추론은 작은 완전히 연결된 층에서도 에너지 효율적이며, 입력 크기 X > 0.98일 때 RNS MAC의 에너지 절감 효과가 ReLU 오버헤드를 상회함을 확인하였다.
• 에너지 절감 효과는 레이어 유형에 관계없이 뚜렷했으며, 컨볼루션 층의 경우 X를 필터 출력 크기(C_in × K_X × K_Y)로 대체하면 동일한 절점 조건이 적용됨을 확인하였다.