[논문 리뷰] Efficient Memory Management for Deep Neural Net Inference

Yury Pisarchyk, Ju Hyun Lee|arXiv (Cornell University)|2020. 01. 10.

Advanced Neural Network Applications참고 문헌 14인용 수 5

한 줄 요약

이 논문은 깊이 신경망 추론을 모바일 및 임베디드 장치에서 실행할 때 런타임 메모리 프로파일을 최소화하기 위해 중간 텐서 간 메모리 버퍼를 지능적으로 재사용하는 다섯 가지 새로운 메모리 관리 전략을 제안한다. 텐서 사용 간격을 모델링하고 스트립 패킹 휴리스틱을 적용한 그레디 전략(크기 및 폭에 민감한 할당)을 통해, 기존 최고 수준의 방법 대비 최대 11%까지 메모리 사용을 줄였으며 대부분의 모델에서 이론적 하한에 근접한 성능을 달성한다.

ABSTRACT

While deep neural net inference was considered a task for servers only, latest advances in technology allow the task of inference to be moved to mobile and embedded devices, desired for various reasons ranging from latency to privacy. These devices are not only limited by their compute power and battery, but also by their inferior physical memory and cache, and thus, an efficient memory manager becomes a crucial component for deep neural net inference at the edge. We explore various strategies to smartly share memory buffers among intermediate tensors in deep neural nets. Employing these can result in up to 11% smaller memory footprint than the state of the art.

연구 동기 및 목표

• 모바일 및 임베디드 디바이스에서 깊이 신경망 추론을 위한 제한된 물리적 메모리와 캐시 문제를 해결한다.
• 추론 정확성과 성능에 영향을 주지 않으면서 중간 텐서의 메모리 프로파일을 줄인다.
• 사용 간격이 겹치지 않는 텐서들 간 메모리 버퍼를 재사용함으로써 추론 엔진의 메모리 할당을 최적화한다.
• 효율적인 메모리 레이아웃과 버퍼 공유를 통해 캐시 히트 비율과 추론 속도를 향상시킨다.
• 자원 제약이 있는 시스템에서 런타임 탐색에 적합한 실용적이고 빠른 계산 전략을 제공한다.

제안 방법

• 계산 그래프의 위상 순서에서 유도된 {first_op, last_op, size}를 기반으로 중간 텐서를 텐서 사용 기록으로 모델링한다.
• 사용 간격을 [first_op, last_op]로 정의하여 사용 간격이 겹치지 않는 텐서를 식별하고, 이를 통해 메모리 공유가 가능한 텐서를 파악한다.
• 버퍼 재사용을 우선순위로 삼기 위해 텐서 크기(가장 큰 것부터)와 겹치는 간격 수(폭)에 기반한 그레디 전략을 적용한다.
• 2차원 박스 패킹 문제의 변종인 스트립 패킹 휴리스틱(예: Bestfit)을 사용하여 메모리 할당 문제를 해결한다.
• GPU 텍스처를 위한 공유 객체(Shared Objects)와 CPU 메모리 풀을 위한 오프셋 계산(Offset Calculation)이라는 두 가지 별도의 할당 방식을 도입한다.
• 대부분의 모델에서 몇 밀리초 이내의 오버헤드로 런타임에서 전략을 평가하여 최적의 구성 설정을 선택한다.

실험 결과

연구 질문

• RQ1 깊이 신경망의 중간 텐서를 위한 메모리 버퍼를 효율적으로 재사용하여 총 메모리 프로파일을 최소화하는 방법은 무엇인가?
• RQ2 텐서 크기와 사용 간격이 사전에 알려져 있을 때, 공유 메모리 버퍼를 할당하기 위한 가장 효과적인 휴리스틱은 무엇인가?
• RQ3 메모리 재사용 전략은 난이도 높은 할당 방식과 이전 연구 대비 메모리 소비를 얼마나 줄일 수 있는가?
• RQ4 크기 기반 그레디, 스트립 패킹 등 다양한 할당 전략 간의 메모리 효율성과 런타임 성능은 어떻게 비교되는가?
• RQ5 제안된 전략은 다양한 신경망 아키텍처에서 메모리 사용의 이론적 하한에 얼마나 근접하는가?

주요 결과

• Greedy by Size Improved 전략은 평가된 모든 모델에서 기존 최고 수준의 방법 대비 최대 11%까지 메모리 소비를 줄였다.
• 공유 객체(Shared Objects) 방식에서 Greedy by Size Improved는 MobileNet v1, PoseNet, BlazeFace에서 이론적 하한에 도달했다.
• 오프셋 계산(Offset Calculation) 방식에서 Greedy by Size는 DeepLab v3를 제외한 모든 모델에서 이론적 하한에 도달했으며, DeepLab v3에서는 하한에서 8% 이내였다.
• 제안된 전략은 난이도 높은 할당 대비 최대 10.5배까지 메모리 사용을 줄였으며, 스트립 패킹 Bestfit 대비 최대 7.7% 더 적은 메모리 사용을 기록했다.
• 메모리 재사용은 캐시 히트 비율 향상으로 이어져 일부 경우에서 최대 10% 빠른 추론 속도를 달성했다.
• 이 전략들은 런타임 탐색에 충분히 빠르며(몇 밀리초 내), 현장 배포에 실용적이다.