[논문 리뷰] WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic

Renkun Ni, H.M. Chu외 4명|arXiv (Cornell University)|2020. 07. 26.

Advanced Neural Network Applications참고 문헌 26인용 수 6

한 줄 요약

WrapNet은 미분 가능한 순환 활성화 함수와 오버플로우 페널티 정규화를 도입하여 초저해상도(8비트) 누적기록을 사용한 신경망 추론을 가능하게 하여 정수 오버플로우에 강건한 네트워크를 구현한다. 이 방법은 소프트웨어에서 최대 2.4배의 속도 향상과 맞춤형 하드웨어에서 5배 이상의 에너지 효율 향상을 달성하며, 32비트 정밀도 정확도를 최소한의 정확도 손실로 유지한다.

ABSTRACT

Low-resolution neural networks represent both weights and activations with few bits, drastically reducing the multiplication complexity. Nonetheless, these products are accumulated using high-resolution (typically 32-bit) additions, an operation that dominates the arithmetic complexity of inference when using extreme quantization (e.g., binary weights). To further optimize inference, we propose a method that adapts neural networks to use low-resolution (8-bit) additions in the accumulators, achieving classification accuracy comparable to their 32-bit counterparts. We achieve resilience to low-resolution accumulation by inserting a cyclic activation layer, as well as an overflow penalty regularizer. We demonstrate the efficacy of our approach on both software and hardware platforms.

연구 동기 및 목표

• 저해상도 가중치와 활성화에도 불구하고 고정밀도(32비트) 누적기록이 지배적인 산술 비용을 차지하는 문제를 해결하기 위해.
• 소프트웨어와 맞춤형 하드웨어에서 모두 초저해상도(8비트) 누적기록을 효율적으로 사용하여 전력 소비와 면적 소비를 줄이기 위해.
• 저해상도 누적기록에서 정수 오버플로우가 발생하더라도 분류 정확도를 유지하기 위해 네트워크가 오버플로우 영향에 강건하도록 만들기 위해.
• 일반 목적 프로세서에서 벡터 명령어가 없더라도 8비트 연산을 위한 비트 패킹을 지원하는 학습 및 추론 파이프라인을 설계하기 위해.
• 8비트 누적기록을 사용하여 소프트웨어 최적화 커널과 맞춤형 하드웨어 가속기에서 성능과 효율성 향상을 크게 입증하기 위해.

제안 방법

• 표현 가능한 정수 범위(최대 - 최소)와 동일한 주기의 미분 가능한 순환 활성화 함수를 도입하여 신경망이 누적 과정에서 오버플로우에 강건하게 유지되도록 한다.
• 비트 팩킹 정수 계산에서 발생하는 캐리 오버 아티팩트의 영향을 최소화하기 위해 학습 중 오버플로우 페널티 정규화를 적용한다.
• 다수의 8비트 정수를 단일 32비트 레지스터에 저장하기 위해 비트 패킹을 사용하여 일반 목적 프로세서에서 병렬 연산을 가능하게 한다.
• Gemmlowp 라이브러리를 수정하여 8비트 누적기록을 지원함으로써, 벡터 명령어를 갖춘 프로세서에서 효율적인 소프트웨어 추론을 가능하게 한다.
• 28nm CMOS 공정에서 8비트 누적기록을 갖춘 맞춤형 MAC 유닛을 설계하고 평가하여 32비트 누적기록 설계 대비 면적, 사이클 시간, 에너지 효율성에서 비교 분석한다.
• 저해상도 누적기록에 맞게 네트워크 동작을 적응시키는 하드웨어 인식 학습 전략을 설계하여 오버플로우가 발생하더라도 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 정수 오버플로우가 발생하더라도 8비트 누적기록을 사용할 경우 신경망이 32비트 누적기록을 사용할 때와 동일한 높은 정확도를 유지할 수 있는가?
• RQ2 벡터 명령어가 없을 경우 8비트 정수의 비트 패킹을 소프트웨어에서 효율적이고 정확하게 수행할 수 있는가?
• RQ3 맞춤형 하드웨어 가속기에서 누적기록의 비트 폭을 32비트에서 8비트로 줄였을 때 사이클 시간, 면적, 에너지 효율성에 어떤 영향을 미치는가?
• RQ4 미분 가능한 순환 활성화 함수가 저해상도 누적기록에서 오버플로우에 강건한 네트워크를 효과적으로 만들 수 있는가?
• RQ5 저해상도 누적기록이 소프트웨어 및 하드웨어 플랫폼 양쪽에서 추론 속도와 효율성 향상에 어느 정도 기여할 수 있는가?

주요 결과

• 벡터 명령어를 갖춘 프로세서에서 수정된 Gemmlowp 커널을 사용한 8비트 누적기록을 적용한 소프트웨어 추론에서 최대 2.4배의 속도 향상이 달성되었다.
• 벡터 명령어가 없는 환경에서는 오버플로우 페널티 정규화를 통한 캐리 비트 완화 기법을 적용한 비트 패킹이 ResNet-18 컨볼루션 레이어에서 2.8배에서 4.3배의 속도 향상을 제공한다.
• 맞춤형 28nm CMOS 하드웨어에서 누적기록 해상도를 32비트에서 8비트로 낮추면 누적기록 구성 요소의 면적과 에너지 소비가 각각 8배 이상, 5배 이상 감소한다.
• 8비트 누적기록 설계는 총 MAC 유닛의 에너지 효율성을 최대 3배, 면적 효율성을 최대 5배 향상시킨다.
• 순환 활성화 함수는 극도의 양자화 조건에서도 32비트 정밀도 모델과 비교해 유사한 분류 정확도를 유지할 수 있도록 네트워크를 가능하게 한다.
• 하드웨어 분석 결과, 사이클 시간의 주요 병목은 승수기기기가 아니라 누적기록기기기임을 확인하여 저해상도 누적기록의 중요성을 입증한다.