[논문 리뷰] Not All Ops Are Created Equal!

Liangzhen Lai, Naveen Suda외 1명|arXiv (Cornell University)|2018. 01. 12.

Advanced Memory and Neural Computing참고 문헌 12인용 수 19

한 줄 요약

이 논문은 기존 신경망 메트릭—연산과 파라미터—가 임베디드 디바이스에서 실세계 효율성을 예측하는 데 실패함을 입증한다. Arm Cortex-M7에서, 연산 유형에 따라 처리량과 에너지 소비가 최대 5배까지 변동하며, 활성화 메모리가 총 메모리 프로필의 최대 30%를 차지할 수 있어, 효율적인 엣지 인퍼런스를 위해 연산과 파라미터를 넘어서 종합적인 최적화가 필요하다.

ABSTRACT

Efficient and compact neural network models are essential for enabling the deployment on mobile and embedded devices. In this work, we point out that typical design metrics for gauging the efficiency of neural network architectures -- total number of operations and parameters -- are not sufficient. These metrics may not accurately correlate with the actual deployment metrics such as energy and memory footprint. We show that throughput and energy varies by up to 5X across different neural network operation types on an off-the-shelf Arm Cortex-M7 microcontroller. Furthermore, we show that the memory required for activation data also need to be considered, apart from the model parameters, for network architecture exploration studies.

연구 동기 및 목표

• 임베디드 시스템에서 신경망 효율성을 평가하는 데 연산과 파라미터만으로도 충분하다는 가정을 도전하기 위해.
• 실제 하드웨어에서 다양한 신경망 연산 유형 간 처리량과 에너지 소비의 변동을 정량화하기 위해.
• 자원 제약이 있는 장치에서 총 메모리 프로필에 있어 활성화 메모리의 중요하지만 자주 간과되는 역할을 부각하기 위해.
• 신경망 아키텍처 검색 동안 연산 유형, 처리량, 에너지, 활성화 메모리를 모두 포함하는 종합적인 최적화 프레임워크를 주장하기 위해.
• Arm Cortex-M7에서의 실제 측정 결과를 바탕으로 마이크로컨트롤러에서 효율적인 모델 배포를 안내하는 실증적 증거를 제공하기 위해.

제안 방법

• Arm Cortex-M7를 탑재한 NUCLEO-F746ZG 보드에서 다양한 신경망 연산 유형(예: conv, FC, DS-Conv, max pooling)에 대해 처리량, 전력, 인퍼런스당 에너지를 측정하였다.
• 일반 목적의 마이크로컨트롤러에서 정확하고 대표적인 성능 측정을 보장하기 위해 최적화된 CMSIS-NN 커널을 사용하였다.
• Google Speech Commands 데이터셋에서 훈련된 다수의 디프와이즈 분리 컨볼루션 신경망 모델의 연산 유형 분포를 분석하였다.
• 네트워크 토폴로지와 실행 순서를 기반으로 동시 활성화 데이터 크기의 최대치를 정량화하여 SRAM 프로필을 추정하였다.
• 연산 유형 분포와 에너지 소비 및 처리량 간의 상관관계를 분석하여 성능 저하 요인을 규명하였다.
• 아키텍처 검색 과정에서 네트워크 효율성 예측을 가능하게 하기 위해 하드웨어 플랫폼별로 사전 캐릭터라이제이션된 연산 성능을 제공하였다.

실험 결과

연구 질문

• RQ1 마이크로컨트롤러에서 다양한 신경망 연산 유형이 처리량과 에너지 효율성에 어떤 영향을 미치는가?
• RQ2 총 연산 수와 정확도가 유사한 경우, 연산 유형 분포가 신경망의 총 에너지 소비에 얼마나 큰 영향을 미치는가?
• RQ3 임베디드 디바이스에서 신경망의 총 메모리 프로필을 결정할 때, 모델 파라미터에 비해 활성화 메모리는 얼마나 중요할까?
• RQ4 연산 유형별 처리량 변동이 엣지 AI 모델에서 총 연산 수를 에너지 효율성의 대체 지표로 사용하는 것의 타당성을 무너뜨릴 수 있는가?
• RQ5 특히 피드포워드 연결이 많은 네트워크 토폴로지가 동시 활성화 데이터 크기와 총 메모리 프로필에 어떤 영향을 미치는가?

주요 결과

• Arm Cortex-M7에서 다양한 신경망 연산 유형의 처리량은 최대 5배까지 변동하였으며, 브랜치가 많은 구현으로 인해 max pooling 이 가장 느렸다.
• 유사한 총 연산 수와 정확도를 가진 모델들 간에 인퍼런스당 에너지 소비는 최대 30%까지 차이가 났으며, 주로 연산 유형 분포의 차이로 인해 발생했다.
• 딥와이즈 분리 컨볼루션은 출력당 MAC 수가 낮고 im2col 오버헤드가 높아, 완전연결층이나 표준 컨볼루션에 비해 처리량이 크게 낮았다.
• 일부 모델에서 활성화 데이터는 총 메모리 프로필의 최대 30%를 차지하여, 자원 제약이 있는 배포에서 핵심 요소가 되었다.
• DenseNet이나 NAS로 생성된 아키텍처처럼 많은 스킵 커넥션을 가진 네트워크는 표준 피드포워드 네트워크 대비 활성화 데이터 크기가 최대 10배까지 증가할 수 있었다.
• 파라미터 수만으로는 메모리 프로필을 예측하기에 부족하며, 정확한 추정을 위해서는 모델 가중치 외에도 동시 활성화 데이터를 함께 고려해야 한다.