[논문 리뷰] A Simple Method to Reduce Off-chip Memory Accesses on Convolutional Neural Networks

Do Yun Kim, Kyoung-Young Kim외 2명|arXiv (Cornell University)|2019. 01. 28.

Advanced Memory and Neural Computing참고 문헌 23인용 수 5

한 줄 요약

이 논문은 컨volution 신경망을 위한 신경처리장치(NPU)에서 외부 메모리 액세스를 극적으로 줄이기 위해 단순하고 온칩 메모리에 민감한 알고리즘을 제안한다. 다중 브랜치 모듈(예: Inception 블록)을 탐지하고, 최적의 온칩 메모리 재사용을 위해 브랜치를 재정렬하며, 특징맵 버퍼링을 지능적으로 관리함으로써 삼성의 NPU에서 Inception-V3에 대해 외부 메모리 액세스를 데이터 볼륨 기준으로 97.59% 감소시키고, 액세스 횟수 기준으로는 50배 감소시켰다.

ABSTRACT

For convolutional neural networks, a simple algorithm to reduce off-chip memory accesses is proposed by maximally utilizing on-chip memory in a neural process unit. Especially, the algorithm provides an effective way to process a module which consists of multiple branches and a merge layer. For Inception-V3 on Samsung's NPU in Exynos, our evaluation shows that the proposed algorithm makes off-chip memory accesses reduced by 1/50, and accordingly achieves 97.59 % reduction in the amount of feature-map data to be transferred from/to off-chip memory.

연구 동기 및 목표

• 외부 메모리 액세스를 최소화하여 NPU의 에너지 소비를 줄이고 실시간 성능을 향상시키기 위해.
• 모바일 NPU 구현에서 높은 외부 메모리 대역폭과 에너지 비용의 병목 현상을 해결하기 위해.
• 다중 브랜치 컨볼루션 모듈 간의 특징맵 저장을 지능적으로 관리하여 제한된 온칩 SRAM의 활용도를 극대화하기 위해.
• 기존 NPU 아키텍처와 양자화된 네트워크와 호환되는 경량이며 하드웨어에 종속되지 않는 알고리즘 개발을 위해.

제안 방법

• 그래프 기반 네트워크 해석을 통해 CNN 내 다중 브랜치 모듈(예: Inception 블록)을 탐지하고, 장거리 스킵 커넥션은 무시한다.
• 각 브랜치의 필요 메모리 크기를 기반으로 브랜치를 재정렬하여 먼저 큰 메모리 요구량을 가진 브랜치를 우선 처리함으로써 온칩 SRAM 활용도를 극대화한다.
• 다중 입력 특징맵(MIFM)과 다중 출력 특징맵(MOFM)을 모듈 간에 재사용하도록 할당하여 중복적인 외부 메모리 전송을 줄인다.
• 두 가지 브랜치 처리 전략을 적용한다: BrProcessing(I)는 온칩 재사용을 위한 것이고, BrProcessing(II)는 온칩 공간이 부족할 경우 외부 메모리 액세스를 위한 것이다.
• 크기 기반 기준을 사용한다: 필요한 메모리 크기(size_req)가 가용 메모리 크기(size_avail)를 초과하면 외부 메모리 액세스가 발생한다.
• 8비트 양자화된 가중치와 특징맵을 가정하며, 네트워크 정밀도나 구조를 변경하지 않고 메모리 액세스 감소에 집중한다.

실험 결과

연구 질문

• RQ1 다중 브랜치 CNN 모듈에서 온칩 메모리 재사용을 체계적으로 활용하여 외부 메모리 액세스를 줄일 수 있는가?
• RQ2 브랜치 순서와 메모리 할당 전략을 어떻게 설계하면 NPU에서 외부 데이터 전송을 최소화할 수 있는가?
• RQ3 실제 모델인 Inception-V3와 같은 워크로드에서 모듈 간 특징맵 재사용이 전체 외부 메모리 대역폭을 얼마나 줄일 수 있는가?
• RQ4 모바일 NPU의 제한된 온칩 메모리 예산에서 외부 메모리 액세스의 최대 감소율은 얼마인가?

주요 결과

• 제안된 방법은 Inception-V3에서 특징맵에 대한 외부 메모리 액세스를 데이터 볼륨 기준으로 97.59% 감소시켰다.
• 외부 메모리 액세스 횟수는 평균 모듈당 200회에서 4회로 50배 감소하였다.
• 메모리 제약으로 인해 잔여 외부 메모리 액세스가 필요한 모듈은 단 두 개뿐이었으며, 각각 reduction-a와 Inception-b1이었고, 액세스 횟수는 각각 3회와 1회였다.
• Inception-V3의 전체 11개 모듈에서 총 외부 메모리 액세스 볼륨이 47.14% 감소하였다.
• 같은 가중치 액세스 패턴을 유지하면서 특징맵 데이터 전송을 효과적으로 줄였으며, 오직 메모리 관리에 의존하였다.
• 이 방법은 하드웨어에 종속되지 않으며 8비트 양자화된 네트워크와 호환되어 제한된 온칩 SRAM을 가진 모바일 NPU에 적합하다.