[논문 리뷰] MNN: A Universal and Efficient Inference Engine

Xiaotang Jiang, Huan Wang외 10명|arXiv (Cornell University)|2020. 02. 27.

Advanced Neural Network Applications참고 문헌 22인용 수 7

한 줄 요약

MNN는 이식성 있고 효율적인 딥러닝 추론 엔진으로, 모바일 기기 전용으로 설계되었으며 사전 추론 최적화, 커널 수준의 성능 튜닝, 경량 백엔드 추상화를 활용해 다양한 하드웨어에서 높은 효율을 달성한다. TVM과 NCNN와 같은 경쟁 엔진보다 실제 벤치마크에서 더 뛰어난 성능을 보이며 이질적인 이진 파일 크기 증가를 최소화했고, 500대 이상의 기기에서 평균 추론 시간이 90.2ms이다.

ABSTRACT

Deploying deep learning models on mobile devices draws more and more attention recently. However, designing an efficient inference engine on devices is under the great challenges of model compatibility, device diversity, and resource limitation. To deal with these challenges, we propose Mobile Neural Network (MNN), a universal and efficient inference engine tailored to mobile applications. In this paper, the contributions of MNN include: (1) presenting a mechanism called pre-inference that manages to conduct runtime optimization; (2)deliveringthorough kernel optimization on operators to achieve optimal computation performance; (3) introducing backend abstraction module which enables hybrid scheduling and keeps the engine lightweight. Extensive benchmark experiments demonstrate that MNN performs favorably against other popular lightweight deep learning frameworks. MNN is available to public at: https://github.com/alibaba/MNN.

연구 동기 및 목표

• 모델 호환성, 기기 다양성, 자원 제약 등의 과제를 해결한다.
• 저성능 및 고성능 이동 기기 모두에서 높은 성능을 유지하면서도 이진 파일 오버헤드를 최소화하는 추론 엔진을 설계한다.
• 특정 기기나 환경에 종속되지 않고 효율적이고 확장 가능한 엣지 기기용 딥러닝 모델 배포를 가능하게 한다.
• 자동 튜닝이나 무거운 종속성 요구 프레임워크에 비해 배포 복잡성과 런타임 오버헤드를 줄인다.

제안 방법

• 런타임에서 온라인 비용 평가를 수행하고 최적의 실행 계획을 선택하는 사전 추론 메커니즘을 도입한다.
• 개선된 알고리즘과 데이터 레이아웃을 활용한 깊이 있는 커널 최적화를 통해 컨볼루션과 같은 일반적인 연산을 가속화한다.
• CPU, GPU, NPU 간 하이브리드 스케줄링을 가능하게 하는 백엔드 추상화 모듈을 사용하여 핵심 엔진은 경량 유지한다.
• TensorFlow, PyTorch, Caffe 등 다양한 모델 포맷과 ARM, Mali, Adreno 등 다양한 하드웨어 백엔드를 통합 인터페이스를 통해 지원한다.
• 모델 전용 코드 생성을 피함으로써 TVM과 같은 자동 튜닝 프레임워크에 비해 배포 오버헤드를 감소시킨다.
• 이식 시 이진 파일 크기 증가가 400–600 KB에 불과하여 매우 낮다.

실험 결과

연구 질문

• RQ1 어떻게 다양한 기기에서 모델 호환성을 유지하면서도 높은 성능을 달성할 수 있는가?
• RQ2 온라인 비용 평가를 통한 런타임 최적화가 정적 또는 자동 튜닝된 코드 생성보다 뛰어난 성능을 낼 수 있는가?
• RQ3 코드 복잡성 증가 없이 커널 수준 최적화가 얼마나 추론 속도 향상에 기여할 수 있는가?
• RQ4 백엔드 추상화를 통해 어떻게 효율적인 하이브리드 스케줄링을 구현하면서도 최소한의 프로ไฟ르를 유지할 수 있는가?
• RQ5 일반 목적의 추론 엔진이 TVM처럼 전용으로 튜닝된 프레임워크의 성능을 따라하거나 뛰어나게 할 수 있는가?

주요 결과

• MNN는 500대 이상의 실제 이동 기기에서 평균 추론 시간이 90.2ms를 기록하여 뛰어난 이식성과 안정성을 입증했다.
• 화웨이 P20 프로(Kirin 970)에서 MNN의 CPU 추론 시간은 TVM과 경쟁 가능하며, 일부 경우에서 자동 튜닝된 TVM 결과를 초월했다.
• 사전 추론 메커니즘이 최적의 런타임 실행 계획 선택을 가능하게 하여 최적화되지 않은 연산자로 인한 성능 저하를 방지한다.
• 자동 튜닝 프레임워크의 장시간 컴파일 시간을 피함—TVM의 ResNet-18에 대한 자동 튜닝은 30회의 시도로 4,500초 이상 소요되었지만, MNN는 이러한 오버헤드가 없다.
• MNN는 이식 시 이진 파일 크기 증가가 400–600 KB에 불과하여 Eigen이나 OpenBLAS와 같은 외부 라이브러리에 의존하는 프레임워크보다 크게 낮다.
• 1×7 및 7×1 컨볼루션과 같은 최적화되지 않은 연산자로 인한 성능 저하를 피한 일반화된 최적화 전략 덕분에 MNN는 Inception-v3에서 NCNN를 능가한다.