[논문 리뷰] LCP: A Low-Communication Parallelization Method for Fast Neural Network Inference in Image Recognition

Ramyad Hadidi, Bahar Asgari외 7명|arXiv (Cornell University)|2020. 03. 13.

Advanced Neural Network Applications참고 문헌 95인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망을 다수의 좁고 독립적인 브랜치로 분할하여 엣지 디바이스에서 효율적이고 저비용의 분산 추론을 가능하게 하는 저통신 병렬화(Low-Communication Parallelization, LCP)를 제안한다. 상호 간의 통신을 최소화하고 노드당 계산 및 메모리 사용을 줄임으로써 엣지 하드웨어에서 최대 56배의 속도 향상을 달성하며, 평균적으로 7배의 속도 향상이 가능하다. 또한 정제와 양자화를 적용할 경우 이는 33배까지 향상될 수 있다.

ABSTRACT

Deep neural networks (DNNs) have inspired new studies in myriad edge applications with robots, autonomous agents, and Internet-of-things (IoT) devices. However, performing inference of DNNs in the edge is still a severe challenge, mainly because of the contradiction between the intensive resource requirements of DNNs and the tight resource availability in several edge domains. Further, as communication is costly, taking advantage of other available edge devices by using data- or model-parallelism methods is not an effective solution. To benefit from available compute resources with low communication overhead, we propose the first DNN parallelization method for reducing the communication overhead in a distributed system. We propose a low-communication parallelization (LCP) method in which models consist of several almost-independent and narrow branches. LCP offers close-to-minimum communication overhead with better distribution and parallelization opportunities while significantly reducing memory footprint and computation compared to data- and model-parallelism methods. We deploy LCP models on three distributed systems: AWS instances, Raspberry Pis, and PYNQ boards. We also evaluate the performance of LCP models on a customized hardware (tailored for low latency) implemented on a small edge FPGA and as a 16mW 0.107mm2 ASIC @7nm chip. LCP models achieve a maximum and average speedups of 56x and 7x, compared to the originals, which could be improved by up to an average speedup of 33x by incorporating common optimizations such as pruning and quantization.

연구 동기 및 목표

• IoT, 로봇, 드론과 같은 자원 제약이 있는 엣지 디바이스에서 효율적인 딥 뉴럴 네트워크(DNN) 추론을 수행하는 데 도전하는 것.
• 기존의 데이터 병렬화 및 모델 병렬화 방법이 엣지 환경에서 높은 통신 오버헤드와 낮은 확장성을 겪는 문제를 해결하는 것.
• 최소한의 통신, 낮은 메모리 사용량, 노드당 감소된 계산량을 바탕으로 다수의 엣지 디바이스에 걸쳐 DNN 추론을 효과적으로 분산화하는 것.
• 기존 최적화 기법들(예: 정제와 양자화)과 수직적(orthogonal)이면서도 이들의 엣지 배포에서의 효과를 향상시키는 방법을 설계하는 것.

제안 방법

• 단일한 넓고 깊은 DNN을 다수의 좁고 독립적인 브랜치로 분할하여 서로 다른 특징 표현을 동시에 처리하는 방식.
• 통신을 입력 데이터와 최전단에서 마지막 레이어의 활성화 값으로만 제한함으로써 기존의 모델 병렬화 방식에 비해 상호 간 데이터 전송을 극적으로 감소시킴.
• 분할 후 약간의 브랜치 두께 증가를 통해 원본 모델과 거의 동일한 정확도를 유지하면서도 총 파라미터 수를 줄임.
• 메모리 레이아웃 사전 처리 단계를 통해 가중치와 활성화 값을 순차적이고 스트리밍 액세스 패턴으로 재정렬하여 계산과 데이터 전송을 겹치게 함.
• AWS, 라즈베리 파이, PYNQ FPGA, 그리고 자체 개발한 7nm ASIC을 포함한 다양한 플랫폼에 LCP 아키텍처를 구현하여 이식성과 효율성을 입증함.
• FPGA 및 ASIC에 시스톨릭 어레이 하드웨어 가속기를 활용하여 엣지 추론의 지연 시간과 에너지 효율성을 추가로 최적화함.

실험 결과

연구 질문

• RQ1 다수의 엣지 디바이스에 걸쳐 효과적인 병렬화를 가능하게 하면서도 통신 오버헤드를 최소화할 수 있는 DNN 추론 방법을 설계할 수 있는가?
• RQ2 LCP 방법은 엣지 플랫폼에서 기존의 데이터 병렬화 및 모델 병렬화 방식과 비교해 통신, 메모리, 계산 오버헤드 측면에서 어떻게 다른가?
• RQ3 LCP는 모델 정확도를 유지하거나 회복하면서도 각 장치당 메모리 및 계산 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 저전력 FPGA 및 ASIC을 포함한 이질적인 엣지 시스템 간에 LCP를 효과적으로 배포할 수 있으며, 이로 인해 측정 가능한 성능 향상이 이루어지는가?
• RQ5 정제 및 양자화와 같은 기존 최적화 기법과 LCP를 조합할 경우 추론 속도 향상과 에너지 효율성에 어떤 영향을 미치는가?

주요 결과

• LCP는 라즈베리 파이, AWS, PYNQ 보드를 포함한 엣지 플랫폼에서 원본 DNN 대비 최대 56배의 속도 향상을 기록했으며, 평균적으로 7배의 속도 향상을 달성했다.
• 정제와 양자화를 결합한 LCP 모델은 평균 속도 향상이 33배로 향상되어 기존 모델 압축 기법과의 강력한 상호보완성을 입증했다.
• 조금 더 넓어진 아키텍처를 거쳐도 재최적화 후 총 파라미터 수가 원본 네트워크보다 줄어들었음을 확인했다.
• 브랜치 간 독립성 덕분에 레이어 간 병렬화가 가능하지만, 기존 모델 병렬화 방식은 순차적 의존성으로 인해 레이어 내 병렬화에 국한됨.
• 자체 개발한 7nm ASIC에서 LCP는 16mW의 전력 소모와 0.107mm²의 칩 면적을 기록하여 높은 에너지 및 면적 효율성을 입증했다.
• 순차적 데이터 레이아웃을 통해 효율적인 메모리 액세스를 지원함으로써 데이터 전송과 계산을 겹치게 하여 메모리 월 효과를 완화함.