[논문 리뷰] Accelerating Convolutional Neural Networks for Continuous Mobile Vision via Cache Reuse.

Mengwei Xu, Xuanzhe Liu외 2명|arXiv (Cornell University)|2017. 12. 01.

Advanced Neural Network Applications참고 문헌 37인용 수 5

한 줄 요약

이 논문은 연속적인 모바일 비전을 가속화하기 위해 유사한 이미지 영역의 컨볼루션 특징을 연속 프레임 간에 재사용하는 투명한 캐싱 메커니즘인 CNNCache를 제안한다. 효율적인 이미지 매칭 알고리즘과 캐시 인식 기반 추론 엔진을 결합함으로써 CNNCache는 일반 Android 기기에서 최대 47.1%의 성능 향상을 이끌어내며 정확도 손실은 3.51% 이하로 유지한다.

ABSTRACT

Convolutional Neural Network (CNN) is the state-of-the-art algorithm of many mobile vision fields. It is also applied in many vision tasks such as face detection and augmented reality on mobile devices. Though benefited from the high accuracy achieved via deep CNN models, nowadays commercial mobile devices are often short in processing capacity and battery to continuously carry out such CNN-driven vision applications. In this paper, we propose a transparent caching mechanism, named CNNCache, that can substantially accelerate CNN-driven mobile continuous vision tasks without any efforts from app developers. To cache and reuse the computations of the similar image regions which are consecutively captured by mobile devices, CNNCache leverages two novel techniques: an image matching algorithm that quickly identifies similar image regions between images, and a cache-aware CNN inference engine that propagates the reusable regions through varied layers and reuses the computation results at layer granularity. We implement a prototype of CNNCache to run on commodity Android devices, and evaluate it via typical CNN models. The results show that CNNCache can accelerate the execution of CNN models by 20.2% on average and up to 47.1% under certain scenarios, with no more than 3.51% accuracy loss.

연구 동기 및 목표

• 연속적인 비전 작업을 위한 모바일 기기에서 딥 컨볼루션 신경망(CNN)을 실행할 때 발생하는 성능 및 배터리 제약를 해결한다.
• 기존 모바일 애플리케이션을 수정하지 않고도 CNN 추론을 투명하게 가속화할 수 있도록 한다.
• 연속된 비디오 프레임 간의 공간적 및 시간적 유사성을 활용하여 CNN 내의 중복 계산을 줄인다.
• 중간 특징 맵의 재사용을 극대화하기 위해 레이어 수준에서 작동하는 캐싱 메커니즘을 설계한다.
• 실제 모바일 환경에서의 구현 사례에서 높은 모델 정확도를 유지하면서도 상당한 성능 향상을 달성한다.

제안 방법

• 공간적 및 특징 유사성 기반으로 연속 프레임 간에 유사한 이미지 영역을 신속하게 식별할 수 있는 이미지 매칭 알고리즘을 개발한다.
• 개별 레이어 수준에서 재사용 가능한 특징 맵을 네트워크 레이어 간에 전파할 수 있도록 캐시 인식 기반의 CNN 추론 엔진을 설계한다.
• 기존 CNN 추론 파이프라인에 수정 없이 통합 가능한 투명한 캐싱 레이어를 구현한다.
• 유사 영역에서 중복된 컨볼루션을 건너뛰기 위해 특징 맵 재사용을 활용하여 추론 중 계산 부담을 감소시킨다.
• 다양한 모바일 비전 워크로드에서 높은 히트율을 확보하면서 메모리 오버헤드를 최소화하기 위해 캐시 관리 전략을 최적화한다.
• 실제 평가를 위해 일반 Android 기기에서 작동하는 프로토타입에 시스템을 통합한다.

실험 결과

연구 질문

• RQ1 유사한 이미지 영역에서의 특징 재사용을 통해 연속적인 모바일 비전에서 발생하는 중복 계산을 효과적으로 줄일 수 있는가?
• RQ2 경량 이미지 매칭 알고리즘이 모바일 기기에서 실시간으로 유사 영역을 효과적으로 식별할 수 있는가?
• RQ3 레이어 수준의 특징 재사용이 모델 정확도를 저하시키지 않으면서 CNN 추론을 얼마나 빠르게 가속화할 수 있는가?
• RQ4 실제 모바일 비전 애플리케이션에서 제안된 캐싱 메커니즘의 성능 향상과 정확도 간의 트레이드오프는 어떠한가?
• RQ5 기존 모바일 앱이나 모델을 수정하지 않고도 캐싱 메커니즘이 투명하게 배포될 수 있는가?

주요 결과

• CNNCache는 일반 Android 기기에서 일반적인 CNN 모델들에 대해 평균 20.2%의 성능 향상을 달성한다.
• 최적의 상황에서는 매우 유사한 이미지 영역에서 특징을 재사용함으로써 최대 47.1%의 가속화를 제공한다.
• 평가된 모델과 워크로드 전반에서 특징 재사용으로 인한 정확도 손실은 최대 3.51% 이하로 제한된다.
• 이미지 매칭 알고리즘은 낮은 계산 오버헤드로 실시간 모바일 사용에 적합한 빠른 유사성 탐지 기능을 제공한다.
• 캐시 인식 기반 추론 엔진은 재사용 가능한 특징을 다수의 레이어에 걸쳐 성공적으로 전파하여 재계산을 최소화한다.
• 이 메커니즘은 앱 개발자에게 완전히 투명하며, 기존 CNN 모델이나 응용 프로그램에 대한 수정이 필요하지 않다.