[논문 리뷰] Bit-Tactical: Exploiting Ineffectual Computations in Convolutional Neural Networks: Which, Why, and How

Alberto Delmás, Patrick Judd외 6명|arXiv (Cornell University)|2018. 03. 09.

Advanced Neural Network Applications참고 문헌 20인용 수 18

한 줄 요약

Bit-Tactical (TCL)은 단지 영치수나 영치활성화값에만 초점을 맞추는 것이 아니라, 활성화값 내의 동적 정밀도 변동성과 비효율적 비트 내용을 활용하여 CNN 추론 성능과 에너지 효율성을 햖थ한다. 모델 변경 없이도, 밀도가 높은 기준 대비 5.05배 높은 성능과 2.98배 높은 에너지 효율성을 달성하며, 전치층과 완전연결층을 모두 원천적으로 지원한다.

ABSTRACT

We show that, during inference with Convolutional Neural Networks (CNNs), more than 2x to $8x ineffectual work can be exposed if instead of targeting those weights and activations that are zero, we target different combinations of value stream properties. We demonstrate a practical application with Bit-Tactical (TCL), a hardware accelerator which exploits weight sparsity, per layer precision variability and dynamic fine-grain precision reduction for activations, and optionally the naturally occurring sparse effectual bit content of activations to improve performance and energy efficiency. TCL benefits both sparse and dense CNNs, natively supports both convolutional and fully-connected layers, and exploits properties of all activations to reduce storage, communication, and computation demands. While TCL does not require changes to the CNN to deliver benefits, it does reward any technique that would amplify any of the aforementioned weight and activation value properties. Compared to an equivalent data-parallel accelerator for dense CNNs, TCLp, a variant of TCL improves performance by 5.05x and is 2.98x more energy efficient while requiring 22% more area.

연구 동기 및 목표

• 기존 CNN 가속기들이 영치수나 영치활성화값에만 초점을 맞추며, 깊이 신경망 내의 정보적 비효율성을 완전히 활용하지 못하는 한계를 해결한다.
• 영치수나 활성화값 외의 비효율 계산의 다른 원천을 탐색하며, 특히 동적 정밀도 변동성과 활성화값 내의 비효율적 비트 내용을 중심으로 한다.
• 모델 수정 없이도 희소성과 밀도를 모두 원천적으로 지원하는 실용적인 하드웨어 가속기를 설계한다. 이는 성능과 에너지 효율성 향상을 동시에 달성한다.
• 영치가 아니지만 영향력이 낮은 활성화 비트와 변동 가능한 정밀도 요구사항을 타깃으로 삼는 것이, 영치 기반 스킵 전용 대비 더 높은 성능 잠재력을 가진다는 것을 입증한다.

제안 방법

• 소형 멀티플렉서(4–8입력)를 사용하여 정적 재정렬과 소프트웨어 스케줄링을 통해 가중치 희소성을 활용하고, 영치수 스킵을 효율적으로 구현한다.
• 두 가지 변종 도입: TCLe는 효과적인 비트 분포가 비대칭인 경우(평균적으로 10% 미만의 비트가 1)를 대상으로 하며, TCLp는 프ofile된 요구사항에 따라 각 레이어의 정밀도를 동적으로 감소시킨다.
• 처리 요소 간 활성화 분포를 브로드캐스트 기반으로 수행하여, 더블 트리에 다수의 곱셈 결과를 집계함으로써 PE 간 통신을 줄인다.
• 네트워크 아키텍처 변경 없이도 전치층과 완전연결층을 모두 원천적으로 지원한다.
• 정밀도 요구에 따라 스케일링되는 세밀하고 동적 정밀도 감소 전략을 활용하여 계산을 필요한 정밀도에 맞게 조절함으로써 저장 및 통신 오버헤드를 감소시킨다.
• 명시적인 프루닝이나 값의 영치가 필요 없이도, CNN의 본질적 특성—예를 들어, 활성화값이 0 근처에 군집되어 있고 효과적인 비트 패턴이 희소한 것—을 활용한다.

실험 결과

연구 질문

• RQ1 영치 외의 활성화값 특성 중에서, 비효율적 계산을 줄이는 데 더 큰 잠재력을 지닌 것은 무엇인가?
• RQ2 영치수나 활성화값 외에 동적 정밀도 변동성과 비효율적 비트 내용을 활용하는 것이, 성능과 에너지 효율성 측면에서 더 효과적인가?
• RQ3 모델 수정 없이도 여러 형태의 정보적 비효율성을 동시에 활용할 수 있는 하드웨어 가속기 아키텍처는 어떻게 설계할 수 있는가?
• RQ4 희소성과 밀도가 높은 네트워크 모두에서, 영치값이 아닌 활성화 정밀도와 비트 내용을 타깃으로 삼을 경우, 성능 및 에너지 효율성의 트레이드오프는 어떻게 되는가?

주요 결과

• 활성화값의 동적 정밀도 변동성과 비효율적 비트 내용을 타깃으로 삼는 것은, 영치 기반 스킵 전용 대비 2배에서 8배에 이르는 더 높은 성능 잠재력을 제공하며, 특히 프루닝된 모델(예: AlexNet)에서 두드러진다.
• TCLp는 TCL의 변종으로서, 동일한 데이터 병렬 밀도 가속기(TCLp) 대비 5.05배 높은 성능과 2.98배 높은 에너지 효율성을 달성한다. 이는 면적 22% 증가를 감수하더라도 성립한다.
• 이 설계는 희소성과 밀도를 모두 가진 CNN에 대해 이점을 제공하며, 모델 수준의 변경 없이도 활성화 분포의 본질적 특성과 정밀도 스케일링 덕분이다.
• 활성화 비트 패턴과 정밀도 변동성을 활용함으로써, TCL은 완전연결층 포함 모든 레이어에서 저장, 통신, 계산 요구량을 감소시킨다.
• TCL에서는 영치 활성화값을 완전히 제거하지 않은 경우의 기회비용이, 비트 병렬 가속기 대비 상당히 낮다. 정밀도 및 비트 수준 최적화의 이점이 손실을 상쇄하기 때문이다.
• TCL은 가중치 희소성 향상, 활성화 정밀도 감소, 영치 비트 비율 증가를 유도하며, 이러한 최적화가 즉각적인 이점을 가져온다.