[논문 리뷰] CBinfer: Change-Based Inference for Convolutional Neural Networks on Video Data

Lukas Cavigelli, Philippe Degen외 1명|arXiv (Cornell University)|2017. 01. 01.

Advanced Neural Network Applications참고 문헌 43인용 수 6

한 줄 요약

이 논문은 정적 카메라에서의 영상에 대해 컨volutional 신경망(CNN)의 변경 기반 추론 방법인 CBinfer를 제안한다. 이 방법은 픽셀 변경의 시공간적 희소성을 활용하여 처리 속도를 가속화한다. 프레임 간에 변경된 영역에만 선택적으로 계산을 수행함으로써, cuDNN 대비 8.6배의 속도 향상과 0.1% 미만의 정확도 손실을 달성하였으며, Tegra X1 플랫폼에서 에너지 효율성은 10배 향상되어 328 GOp/s/W에 도달하였다. 이는 재학습 없이 임베디드 시스템에서 실시간 CNN 추론을 가능하게 한다.

ABSTRACT

Extracting per-frame features using convolutional neural networks for real-time processing of video data is currently mainly performed on powerful GPU-accelerated workstations and compute clusters. However, there are many applications such as smart surveillance cameras that require or would benefit from on-site processing. To this end, we propose and evaluate a novel algorithm for change-based evaluation of CNNs for video data recorded with a static camera setting, exploiting the spatio-temporal sparsity of pixel changes. We achieve an average speed-up of 8.6x over a cuDNN baseline on a realistic benchmark with a negligible accuracy loss of less than 0.1% and no retraining of the network. The resulting energy efficiency is 10x higher than that of per-frame evaluation and reaches an equivalent of 328 GOp/s/W on the Tegra X1 platform.

연구 동기 및 목표

• 제한된 전력과 계산 자원을 가진 임베디드 시스템에서 고해상도 영상에 대해 실시간으로 에너지 효율적인 CNN 추론을 가능하게 하기 위해.
• 영상 감시 및 유사 응용 분야에서 CNN 추론의 높은 계산 비용 문제를 해결하기 위해.
• 정적 카메라에서의 픽셀 변경에 나타나는 시공간적 희소성을 활용하여 부득이한 계산을 줄이기 위해.
• 재학습 없이도 정확도를 희생시키지 않고도 상당한 속도 향상과 에너지 효율성 향상을 달성하기 위해.
• 스마트 감시 및 드론 모니터링과 같은 응용 분야에서 장치 내 근접 센서 처리의 가능성을 입증하기 위해.

제안 방법

• 이 방법은 임계값을 적용한 차분 연산을 통해 연속 프레임 간의 픽셀 변경을 탐지함으로써 변경 기반 추론을 수행한다.
• 변경된 입력 영역에 대해 각 컨볼루션 레이어를 통과할 때 전체 레이어 재계산을 피하기 위해 변경된 영역의 출력 업데이트만 계산한다.
• 행렬 곱셈 기반 접근 방식을 통해 변경된 입력 패치와 해당 필터를 사용하여 업데이트된 특징 맵을 계산하며, GPU 최적화를 위해 cuBLAS를 활용한다.
• 정확도를 유지하고 오류 전파를 방지하기 위해 모든 레이어에서 변경 탐지를 적용하며, 오분류를 최소화하기 위해 임계값을 조정한다.
• 알고리즘은 각 레이어에서 변경된 픽셀만 처리하여 다중적-누적 연산의 수를 크게 줄인다.
• 최적화된 커널을 사용하여 GPU에 구현되었으며, 기존의 CNN 추론 파이프라인과 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 정적 카메라에서의 픽셀 변경에 나타나는 시공간적 희소성을 활용하여 재학습 없이 CNN 추론을 가속화할 수 있는가?
• RQ2 전체 프레임 처리 대비 변경 기반 추론을 사용했을 때 얻을 수 있는 최대 속도 향상과 에너지 효율성 향상은 얼마인가?
• RQ3 변경 전파가 정확도에 미치는 영향은 무엇이며, 정확도 손실이 무시할 수 있을 정도가 되기 위해 어떤 임계값이 필요한가?
• RQ4 임베디드 플랫폼에서 계산 부하를 줄이면서도 높은 스루풋을 유지할 수 있는가?
• RQ5 변경 탐지 파rameter를 조정할 경우 스루풋과 정확도 사이의 상충 관계는 어떻게 되는가?

주요 결과

• CBinfer는 실제 도시 영상 감시 벤치마크에서 cuDNN 기준 대비 평균 8.6배의 속도 향상을 기록하였으며, 정확도 손실은 0.1% 미만이었다.
• 에너지 효율성은 10배 향상되어 Tegra X1 플랫폼에서 328 GOp/s/W에 도달했으며, 기준값인 32.0 GOp/s/W 대비 향상되었다.
• 변경 탐지에 따른 계산 오버헤드는 매우 미미하여 Layer 3에서 총 시간의 22%에 불과했으며, 이는 감소된 계산의 이점에 비해 지배적일 정도로 작았다.
• 모든 레이어에서 변경 탐지를 적용함으로써 Layer 2에서는 변경된 픽셀 수가 6.8배 감소했으며(7.57%에서 1.11%로), Layer 3에서는 1.33배 감소했다(2.58%에서 1.94%로).
• 대부분의 계산 시간이 후행 레이어(풀링 및 분류)로 이동하여 총 시간의 36%를 차지하게 되었으며, 이는 새로운 최적화 대상임을 시사한다.
• 변경된 영역에 집중함으로써 GPU 활용도를 높였으며, 업데이트된 출력에 대한 다중적-누적 연산에서 GPU가 완전히 활용되었다.