[논문 리뷰] Accelerating Very Deep Convolutional Networks for Classification and Detection

Xiangyu Zhang, Jianhua Zou외 2명|arXiv (Cornell University)|2015. 05. 26.

Advanced Neural Network Applications참고 문헌 40인용 수 29

한 줄 요약

이 논문은 확률적 경사 하강법에 의존하지 않고, 일반화된 특이값 분해(GSVD)를 사용하여 비선형적이고 비대칭적인 응답 복원 방법을 제안하여 VGG-16과 같은 매우 깊은 합성곱 신경망의 추론 속도를 가속화한다. ImageNet에서 4배의 속도 향상과 함께 상위 5개 정답 오차가 0.3% 증가하고, 객체 검출에서는 mAP가 0.8% 유연하게 감소하는 결과를 얻었으며, 깊은 모델의 정확성과 확장성 측면에서 이전 방법들을 능가한다.

ABSTRACT

This paper aims to accelerate the test-time computation of convolutional neural networks (CNNs), especially very deep CNNs that have substantially impacted the computer vision community. Unlike previous methods that are designed for approximating linear filters or linear responses, our method takes the nonlinear units into account. We develop an effective solution to the resulting nonlinear optimization problem without the need of stochastic gradient descent (SGD). More importantly, while previous methods mainly focus on optimizing one or two layers, our nonlinear method enables an asymmetric reconstruction that reduces the rapidly accumulated error when multiple (e.g., >=10) layers are approximated. For the widely used very deep VGG-16 model, our method achieves a whole-model speedup of 4x with merely a 0.3% increase of top-5 error in ImageNet classification. Our 4x accelerated VGG-16 model also shows a graceful accuracy degradation for object detection when plugged into the Fast R-CNN detector.

연구 동기 및 목표

• 확률적 경사 하강법 기반 최적화에 의존하지 않고 매우 깊은 합성곱 신경망(예: VGG-16)의 추론 시속도를 가속화하는 문제를 해결하기 위해.
• 10개 이상의 레이어를 근사할 경우 빠르게 누적되는 오차를 줄이기 위해.
• 레이어 간의 재현성과 계산 비용을 기반으로 각 레이어에 맞는 적응형 질량 선택을 통해 전체 모델의 가속화를 가능하게 하기 위해.
• 이전 학습된 모델을 전이 학습에 활용하기 위해 ImageNet 분류 및 PASCAL VOC 객체 검출과 같은 복잡한 벤치마크에서 방법의 성능을 평가하기 위해.
• 가속화가 단순히 아키텍처 변경 때문이 아니라, 모델 정보를 유지하는 효과적인 최적화 알고리즘이기 때문에 발생하는 것임을 입증하기 위해.

제안 방법

• 합성곱 레이어 내의 ReLU 유닛의 비선형성을 명시적으로 모델링하는 비선형 응답 복원 방법을 제안하여, SGD가 필요 없도록 한다.
• 이전에 근사된 레이어에서 오차 전파를 고려하는 비대칭 복원 전략을 도입하여, 깊은 스택에서의 누적 오차를 감소시킨다.
• 비선형 최적화 문제를 직접 해결하기 위해 일반화된 특이값 분해(GSVD)를 활용하여, 역전파 없이도 닫힌 형태의 해를 도출할 수 있도록 한다.
• 필터의 중복성, 특징 맵 크기, 계산 비용을 기반으로 각 레이어의 압축 비율을 결정하는 적응형 질량 선택 방법을 개발한다.
• 모든 13개의 합성곱 레이어를 낮은 랭크 근사로 분해하여 특징 계층의 구조를 유지하면서 전체 VGG-16 모델에 적용한다.
• 분해 후에 종단 간 최적화를 통해 정확도를 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 매우 깊은 네트워크에서 다수의 레이어를 가속화할 경우 비선형적이고 비대칭적인 복원 방법이 오차 누적을 효과적으로 줄일 수 있는가?
• RQ2 GSVD 기반 최적화 접근법이 깊은 모델 가속화의 정확성과 수렴성 측면에서 SGD 기반 솔버를 능가하는가?
• RQ3 VGG-16과 같은 매우 깊은 모델에 대해 ImageNet 및 PASCAL VOC와 같은 복잡한 벤치마크에서 전체 모델의 가속화를 최소한의 정확도 손실로 달성할 수 있는가?
• RQ4 성능 향상은 아키텍처 압축 때문일 뿐만 아니라, 최적화 알고리즘이 자체적으로 표현 능력을 유지하는 데 핵심적인 역할을 하는가?
• RQ5 적응형 질량 선택 전략은 계산 및 특징 중복성이 다른 레이어들 사이에서 속도 향상과 정확도 사이의 균형을 어떻게 조절하는가?

주요 결과

• 최적화 후에 VGG-16에서 이론적 4배 속도 향상과 함께 ImageNet 분류에서 상위 5개 정답 오차가 0.3% 증가하였다.
• 최적화 없이도 이 방법은 4배 속도 향상에서 상위 5개 정답 오차가 0.9% 증가했으며, 이는 강건성과 효과적인 정보 처리 능력을 보여준다.
• 이전 연구 대비 우월한 성능: Figurnov 등은 3배 및 4배 CPU 속도 향상에서 각각 3.4%와 7.1%의 오차 증가를 보고했지만, 본 방법은 훨씬 낮은 오차 증가율을 유지하였다.
• PASCAL VOC 2007에서 Fast R-CNN을 사용한 객체 검출에서 4배 가속화 모델은 mAP가 오직 0.8% 감소(66.9%에서 66.1%로)하여 정확도-속도의 유연한 트레이드오프를 보였다.
• 5배 속도 향상 버전은 mAP가 1.7% 감소하여 속도와 정확도 사이의 예측 가능하고 관리 가능한 트레이드오프임을 시사한다.
• 실험 결과, 동일한 압축 아키텍처로 처음부터 학습한 모델은 성능이 열 劣하므로, 최적화 알고리즘이 단순한 아키텍처 압축 이상의 역할을 하여 효과적인 가속화를 가능하게 한다는 것을 입증한다.