[논문 리뷰] Eyeriss v2: A Flexible Accelerator for Emerging Deep Neural Networks on Mobile Devices

Yu‐Hsin Chen, Tien-Ju Yang외 2명|arXiv (Cornell University)|2018. 07. 10.

Advanced Neural Network Applications참고 문헌 40인용 수 9

한 줄 요약

Eyeriss v2는 계층적 메시 온칩 네트워크와 압축 도메인 내 처리 기능을 통해 컴팩트하고 희소한 딥 네URAL 네트워크를 지원하는 이동기기용 유연한 DNN 가속기이다. 65nm CMOS에서 MobileNet에서 Eyeriss의 원본 대비 12.6배 빠른 처리량(1470.6 인퍼런스/초)과 2.5배 높은 에너지 효율성(2560.3 인퍼런스/줄)을 달성한다.

ABSTRACT

A recent trend in DNN development is to extend the reach of deep learning applications to platforms that are more resource and energy constrained, e.g., mobile devices. These endeavors aim to reduce the DNN model size and improve the hardware processing efficiency, and have resulted in DNNs that are much more compact in their structures and/or have high data sparsity. These compact or sparse models are different from the traditional large ones in that there is much more variation in their layer shapes and sizes, and often require specialized hardware to exploit sparsity for performance improvement. Thus, many DNN accelerators designed for large DNNs do not perform well on these models. In this work, we present Eyeriss v2, a DNN accelerator architecture designed for running compact and sparse DNNs. To deal with the widely varying layer shapes and sizes, it introduces a highly flexible on-chip network, called hierarchical mesh, that can adapt to the different amounts of data reuse and bandwidth requirements of different data types, which improves the utilization of the computation resources. Furthermore, Eyeriss v2 can process sparse data directly in the compressed domain for both weights and activations, and therefore is able to improve both processing speed and energy efficiency with sparse models. Overall, with sparse MobileNet, Eyeriss v2 in a 65nm CMOS process achieves a throughput of 1470.6 inferences/sec and 2560.3 inferences/J at a batch size of 1, which is 12.6x faster and 2.5x more energy efficient than the original Eyeriss running MobileNet. We also present an analysis methodology called Eyexam that provides a systematic way of understanding the performance limits for DNN processors as a function of specific characteristics of the DNN model and accelerator design; it applies these characteristics as sequential steps to increasingly tighten the bound on the performance limits.

연구 동기 및 목표

• 컴팩트하고 희소한 신경망 모델의 증가에 따라 이동기기에서 효율적인 DNN 가속이 필요한 이유를 해결한다.
• 고정된 큰 DNN 레이어 형상에만 의존하고 희소성 및 가변적 데이터 재사용을 지원하지 않는 기존 가속기의 한계를 극복한다.
• 현대 DNN의 다양하게 변화하는 레이어 차원과 형상에 동적으로 대응할 수 있는 하드웨어 아키텍처를 설계한다.
• 압축된 형태로 그대로 희소한 가중치와 활성화를 처리할 수 있도록 하여 에너지 효율성과 처리량을 향상시킨다.
• 다양한 DNN 워크로드와 배치 크기에 걸쳐 고도로 활용 가능한 데이터 플로우 및 메모리 액세스 패턴을 최적화한다.

제안 방법

• 다양한 DNN 레이어 유형과 형상에 따라 변화하는 데이터 재사용 및 대역폭 요구를 수용할 수 있는 계층적 메시 네트워크를 도입한다.
• 압축 도메인 내에서 가중치와 활성화 모두에 대해 직접 처리할 수 있도록 하여 압축 해제 오버헤드를 방지한다.
• 다양한 데이터플로우(WS, OS, IS, Row-Stationary)를 지원하고 레이어별 재사용 패턴에 따라 동적으로 조정 가능한 유연한 데이터플로우 매핑 전략을 구현한다.
• 다중방송 및 브로드캐스트를 지원하는 NoC(Network-on-Chip)를 설계하여 재사용 극대화와 대역폭 제약 간의 균형을 이루도록 한다.
• Eyexam 프레임워크를 적용하여 다양한 데이터플로우와 PE 어레이 구성에서 성능 저하 요인을 분석하고 정량화한다.
• 유한한 PE 어레이와 물리적 어레이 크기로 인한 성능 손실를 최소화하기 위해 마이크로아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 다양하고 컴팩트하며 희소한 DNN 모델에서 레이어 형상과 크기가 크게 변동하는 상황에서도 고성능과 고에너지 효율성을 유지할 수 있는 방법은 무엇인가?
• RQ2 압축 해제 없이도 희소 DNN을 효율적으로 처리할 수 있도록 하는 아키텍처적 특징는 무엇인가?
• RQ3 PE 어레이 확장과 낮은 데이터 재사용을 가지는 레이어를 지원할 때 데이터플로우와 NoC 토폴로지 선택이 성능에 미치는 영향는 어떠한가?
• RQ4 유연한 온칩 네트워크는 매핑 분할과 물리적 어레이 제약으로 인한 성능 손실를 어느 정도 완화할 수 있는가?
• RQ5 변형 구조를 가진 DNN에 대한 NoC 설계에서 데이터 재사용 극대화와 대역폭 효율성 간의 상충 관계는 무엇인가?

주요 결과

• Eyeriss v2는 배치 크기가 1일 때 MobileNet에서 1470.6 인퍼런스/초의 처리량과 2560.3 인퍼런스/줄의 에너지 효율성을 달성하여 원본 Eyeriss 대비 12.6배 빠른 속도와 2.5배 높은 에너지 효율성 향상을 보였다.
• 계층적 메시 네트워크는 다양한 레이어 형상 간에 적응 가능한 대역폭과 재사용 지원을 가능하게 하여 매핑 분할로 인한 성능 손실를 감소시켰다.
• 희소 가중치와 활성화를 압축 도메인에서 직접 처리함으로써 압축 해제 오버헤드를 제거하고 에너지 효율성을 크게 향상시켰다.
• 특히 작은 특징 맵이나 낮은 채널 수를 가진 레이어에서, 특히 매핑 유연성에 기반한 데이터플로우 매핑 전략이 유한한 PE 어레이와 물리적 어레이 크기로 인한 성능 손실를 최소화했다.
• NoC 설계는 데이터 재사용 극대화와 대역폭 제공 간의 균형을 성공적으로 유지하여, 배치 크기가 작은 완전 연결 레이어와 같은 낮은 재사용 시나리오에서도 성능 저하를 피했다.
• Eyexam 프레임워크 분석 결과, 단순히 PE 수를 늘리는 것으로는 성능 향상이 보장되지 않으며, 매핑 및 물리적 제약으로 인해 고정된 데이터플로우 아키텍처에서는 확장성이 제한됨을 확인했다.