[논문 리뷰] Evolution of Convolutional Neural Network (CNN): Compute vs Memory bandwidth for Edge AI

Dwith Chenna|arXiv (Cornell University)|2023. 09. 24.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 엣지 AI를 위한 합성곱 신경망(CNNs)에서 계산과 메모리 대역폭 간의 점진적인 트레이드오프를 분석하며, 초기 모델에서 최신 기술로의 아키텍처 발전을 추적한다. 증가하는 모델 복잡도가 계산 요구량과 메모리 액세스를 모두 증가시킨다는 점을 규명하여, 자원 제약이 있는 엣지 디바이스에 최적화된 효율적인 CNN 아키텍처 및 하드웨어 가속기 설계에 통찰을 제공한다.

ABSTRACT

Convolutional Neural Networks (CNNs) have greatly influenced the field of Embedded Vision and Edge Artificial Intelligence (AI), enabling powerful machine learning capabilities on resource-constrained devices. This article explores the relationship between CNN compute requirements and memory bandwidth in the context of Edge AI. We delve into the historical progression of CNN architectures, from the early pioneering models to the current state-of-the-art designs, highlighting the advancements in compute-intensive operations. We examine the impact of increasing model complexity on both computational requirements and memory access patterns. The paper presents a comparison analysis of the evolving trade-off between compute demands and memory bandwidth requirements in CNNs. This analysis provides insights into designing efficient architectures and potential hardware accelerators in enhancing CNN performance on edge devices.

연구 동기 및 목표

• 계산 및 메모리 대역폭 요구량과 관련된 CNN 아키텍처의 역사를 이해하는 것.
• 모델 복잡도 증가가 엣지 AI 시스템에서 계산 요구량과 메모리 액세스 패턴에 미치는 영향을 조사하는 것.
• 엣지에 배포된 CNN에서 계산과 메모리 대역폭 간의 불균형으로 인해 발생하는 성능 저하 요인을 규명하는 것.
• 자원이 제한된 엣지 디바이스에 맞게 최적화된 효율적인 CNN 아키텍처 및 하드웨어 가속기 설계에 대한 통찰을 제공하는 것.
• 임베디드 비전 응용 분야에서 에너지 효율적이고 고성능의 추론 시스템을 향한 향후 개발을 이끄는 것.

제안 방법

• 초기 모델(예: AlexNet, VGG)에서 현대의 최신 기술 설계(예: EfficientNet, MobileNet 변종)에 이르는 CNN 아키텍처의 발전을 추적한다.
• FLOPs(부동소수점 연산 수)를 사용해 계산 요구량을 분석하고, 활성화 및 가중치 텐서 액세스 패턴을 통해 메모리 대역폭을 분석한다.
• 시간이 지남에 따라 다양한 CNN 패밀리 간의 계산 및 메모리 대역폭 증가 추세를 비교한다.
• 깊이분리형 컨볼루션과 신경망 아키텍처 탐색 등의 아키텍처 혁신이 계산-메모리 트레이드오프에 미치는 영향을 평가한다.
• 공개된 모델에서의 실측 데이터를 활용해 계산 및 메모리 대역폭 요구량의 진화를 정량화한다.
• 계산 대 메모리 대역폭 비율을 기반으로 CNN의 효율성을 평가하는 프레임워크를 제안하여 엣지 하드웨어에서의 성능 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엣지 AI 맥락에서 초기 모델에서 현대적 아키텍처로의 CNN의 계산 및 메모리 대역폭 요구량은 어떻게 진화해왔는가?
• RQ2 다양한 CNN 패밀리 간에 계산 요구량 대비 메모리 대역폭 요구량의 상대적 증가율은 어떠한가?
• RQ3 깊이분리형 컨볼루션과 같은 아키텍처 혁신이 계산량을 증가시키지 않으면서도 메모리 대역폭 부담을 얼마나 줄이는가?
• RQ4 현재 엣지 디바이스에서의 CNN 추론 파이프라인에서 지배적인 성능 저하 요인은 계산인지 메모리 대역폭인지 무엇인가?
• RQ5 하드웨어 가속기를 CNN 아키텍처와 함께 공동 설계함으로써 계산 및 메모리 대역폭 제약을 어떻게 균형 있게 조절할 수 있는가?

주요 결과

• CNN의 계산 요구량은 시간이 지남에 따라 크게 증가했으며, AlexNet에서 현대 모델로의 전환에서 FLOPs가 수개월 수준으로 증가했다.
• 메모리 대역폭 요구량 역시 크게 증가했으며, 온칩 메모리 대역폭 향상 수준을 뛰어넘는 경우가 많아 메모리 액세스가 핵심 브레이크넥이 되고 있다.
• 깊이분리형 컨볼루션과 같은 아키텍처 혁신은 표준 컨볼루션 대비 FLOPs를 최대 8배까지 감소시켰지만, 메모리 대역폭 절감 효과는 다소 뚜렷하지 않다.
• 계산 대 메모리 대역폭 비율이 비례적으로 향상되지 않아, 메모리 액세스가 엣지 추론에서 점점 더 제한 요소가 되고 있음을 시사한다.
• EfficientNet 및 MobileNet과 같은 현대의 CNN은 낮은 FLOPs로 높은 정확도를 달성하지만, 큰 활성화 텐서로 인해 여전히 높은 메모리 대역폭 요구량을 보인다.
• 논문은 향후 하드웨어 가속기가 고성능 CNN의 잠재력을 엣지 디바이스에서 실현하기 위해 메모리 대역폭 효율성을 우선적으로 고려해야 한다고 결론 내린다.