[논문 리뷰] Ordering Chaos: Memory-Aware Scheduling of Irregularly Wired Neural Networks for Edge Devices

Byung Hoon Ahn, Jinwon Lee외 4명|arXiv (Cornell University)|2020. 03. 04.

Advanced Neural Network Applications인용 수 16

한 줄 요약

이 논문은 메모리 제약이 있는 엣지 디바이스에 배포된 비정규 연결 신경망을 위한 메모리 인지 스케줄링 프레임워크를 제안한다. 동적 프로그래밍을 활용하고 그래프 서명 기반의 부분경로 재사용 및 적응형 소프트 예산 할당을 통해 최대 메모리 사용량을 최소화한다. 텐서플로우 라이트 대비 평균 1.86배 메모리 사용량을 줄였고, 외부 메모리 트래픽은 1.76배 감소시켰으며, 컴파일 시간이 1분 이내로 증가한다.

ABSTRACT

Recent advances demonstrate that irregularly wired neural networks from Neural Architecture Search (NAS) and Random Wiring can not only automate the design of deep neural networks but also emit models that outperform previous manual designs. These designs are especially effective while designing neural architectures under hard resource constraints (memory, MACs, . . . ) which highlights the importance of this class of designing neural networks. However, such a move creates complication in the previously streamlined pattern of execution. In fact one of the main challenges is that the order of such nodes in the neural network significantly effects the memory footprint of the intermediate activations. Current compilers do not schedule with regard to activation memory footprint that it significantly increases its peak compared to the optimum, rendering it not applicable for edge devices. To address this standing issue, we present a memory-aware compiler, dubbed SERENITY, that utilizes dynamic programming to find a sequence that finds a schedule with optimal memory footprint. Our solution also comprises of graph rewriting technique that allows further reduction beyond the optimum. As such, SERENITY achieves optimal peak memory, and the graph rewriting technique further improves this resulting in 1.68x improvement with dynamic programming-based scheduler and 1.86x with graph rewriting, against TensorFlow Lite with less than one minute overhead.

연구 동기 및 목표

• 메모리 제약이 있는 엣지 디바이스에 배포된 비정규 연결 신경망에서 높은 최대 메모리 사용량 문제를 해결한다.
• 비정규 연결성을 가진 고정확도의 NAS 생성 모델을 엣지 하드웨어에 배포할 수 있도록 한다.
• 추론 중 활성화 메모리 사용량을 최소화하는 확장 가능한 스케줄링 알고리즘을 개발한다.
• 동적 프로그래밍과 적응형 예산 할당을 통해 탐색 공간의 비가역성 문제를 극복한다.
• 모델 동작을 변경하지 않고도 메모리 사용량을 추가로 줄일 수 있도록 신뢰성 그래프 재작성 기법을 도입한다.

제안 방법

• 부분 스케줄링 내 반복되는 부분경로를 고유한 서명으로 생성하기 위해 그래프 성질을 활용하여 동적 프로그래밍 기반 최적화를 가능하게 한다.
• 서브패스 서명에 런타임 메모리 사용량을 통합하여 메모리 인지 스케줄링 결정을 안내한다.
• 가벼운 메타검색 기반의 적응형 소프트 예산 할당을 구현하여 솔루션 품질과 컴파일 시간을 균형 잡는 최적의 메모리 예산을 찾는다.
• 적응형 예산 기반의 가지치기를 통해 동적 프로그래밍을 적용하여 탐색 공간을 줄이되, 최적성은 유지한다.
• 수학적 동치성을 유지하면서도 더 나은 스케줄링 기회를 노출시키기 위해 계산 그래프를 재구조화하는 신뢰성 그래프 재작성 기법을 설계한다.
• 동적 프로그래밍, 적응형 예산 할당, 그래프 재작성 기법을 통합하여 엣지 배포를 위한 유일한 컴파일 파이프라인으로 조합한다.

실험 결과

연구 질문

• RQ1 메모리 제약 조건이 있는 비정규 연결 신경망의 스케줄링에 대해 동적 프로그래밍을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 큰 그래프에서 지수적 탐색 공간이 존재함에도 불구하고, 메모리 인지 스케줄링을 실현 가능하게 만들 수 있는 기법은 무엇인가?
• RQ3 적응형 소프트 예산 할당은 컴파일 시간을 최소화하면서도 실행 가능한 솔루션을 보장하는 최적의 메모리 예산을 식별할 수 있는가?
• RQ4 신뢰성 그래프 재작성 기법은 모델 기능을 변경하지 않으면서 최대 메모리 사용량을 얼마나 줄일 수 있는가?
• RQ5 기존 프레임워크인 텐서플로우 라이트와 비교해보았을 때, 제안된 기법들은 메모리 효율성과 컴파일 오버헤드 측면에서 어떻게 다른가?

주요 결과

• 제안된 프레임워크는 대표적인 비정규 네트워크 전반에서 텐서플로우 라이트 대비 최대 메모리 사용량을 1.86배 줄였다.
• 외부 메모리 트래픽은 1.76배 감소하여 에너지 효율성과 대역폭 활용도가 향상되었다.
• 컴파일 시간은 평균 1분 이내로 증가하여 실세계 배포에 실용적이다.
• 적응형 소프트 예산 할당은 근사 최적의 메모리 예산을 성공적으로 식별하여, 실행 불가능한 스케줄링이나 과도하게 장시간 소요되는 컴파일 시간을 방지했다.
• 신뢰성 그래프 재작성 기법은 계산 그래프를 재구조화하여 더 낮은 메모리 사용량을 유도함으로써 추가적인 메모리 절감 효과를 가져왔다.
• 서브패스 서명 재사용과 적응형 예산 할당을 통합한 동적 프로그래밍 기반 기법은 큰 비정규 그래프에서 확장 가능하고 근사 최적의 스케줄링을 가능하게 했다.