[논문 리뷰] PerforatedCNNs: Acceleration through Elimination of Redundant Convolutions

Michael Figurnov, Aijan Ibraimova외 2명|arXiv (Cornell University)|2015. 04. 30.

Advanced Neural Network Applications참고 문헌 22인용 수 119

한 줄 요약

이 논문은 퍼포레이티드CNNs를 소개한다. 이는 퍼포레이션 마스크를 사용해 특정 공간 위치에서 컨볼루션 계산을 선택적으로 건너뛰어 컨볼루션 신경망의 속도를 높이는 방법이다. 누락된 출력을 복원하기 위해 보간법을 적용하고 네트워크를 미세조정함으로써, 네트워크 아키텍처를 유지하면서도 다른 가속 기법과 조합이 가능하게 하여 AlexNet과 VGG-16에서 2배에서 4배의 속도 향상을 달성했으며, 정확도 저하가 최소화되었다.

ABSTRACT

We propose a novel approach to reduce the computational cost of evaluation of convolutional neural networks, a factor that has hindered their deployment in low-power devices such as mobile phones. Inspired by the loop perforation technique from source code optimization, we speed up the bottleneck convolutional layers by skipping their evaluation in some of the spatial positions. We propose and analyze several strategies of choosing these positions. We demonstrate that perforation can accelerate modern convolutional networks such as AlexNet and VGG-16 by a factor of 2x - 4x. Additionally, we show that perforation is complementary to the recently proposed acceleration method of Zhang et al.

연구 동기 및 목표

• 모바일폰과 같은 저전력 장치에 배포하기 위한 컨볼루션 신경망(CNN) 평가의 계산 비용을 줄이기 위해.
• 중간 특징 맵 내의 공간적 중복성을 활용하여 네트워크 아키텍처를 변경하지 않고 불필요한 컨볼루션 계산을 제거하기 위해.
• 유연하고 아키텍처를 유지하는 방법을 개발하여 컨볼루션 레이어의 공간 위치를 선택적으로 평가함으로써 빠른 추론을 가능하게 하기 위해.
• 퍼포레이션이 기존의 가속 기법(예: 낮은 랭크 분해 및 가중치 프루닝)과 상호보완적임을 입증하기 위해.

제안 방법

• 퍼포레이션 마스크 I ⊆ Ω를 정의하여 루프 퍼포레이션 원리를 컨볼루션 레이어에 적용함으로써, 정확히 계산할 공간 위치의 부분집합을 선택한다.
• 나머지 출력 위치는 보간법을 통해 복원하여 계산을 줄이면서도 공간적 구조를 유지한다.
• 균일, 무작위, 특징 맵 통계 기반의 적응형 패턴을 포함한 다양한 전략을 사용해 퍼포레이션 마스크를 선택하는 방법을 제안한다.
• 정확도 복원을 위해 퍼포레이션 후 네트워크를 미세조정하며, 재학습 비용이 최소한이 된다.
• 기존 딥러닝 라이브러리와 호환되며, CuDNN 또는 유사 프레임워크에 통합될 수 있다.
• 장 등 [28]의 채널 간 중복성 방법과 결합하여 서로 다른 종류의 중복성을 활용함으로써 추가적인 속도 향상을 달성한다.

실험 결과

연구 질문

• RQ1 컨볼루션 특징 맵 내의 공간적 중복성을 활용하여 네트워크 아키텍처를 변경하지 않고 추론 시간을 단축시킬 수 있는가?
• RQ2 정확도 손실를 최소화하면서 계산 속도 향상을 극대화하기 위해 퍼포레이션 마스크를 어떻게 설계할 수 있는가?
• RQ3 퍼포레이션은 저랭크 분해와 같은 다른 가속 기법과 얼마나 잘 조합될 수 있는가?
• RQ4 AlexNet과 VGG-16와 같은 다양한 모델에서 퍼포레이티드 네트워크의 성능은 얼마나 견고한가?

주요 결과

• 퍼포레이티드CNNs는 AlexNet과 VGG-16에서 CPU 및 GPU 모두에서 2배에서 4배의 속도 향상을 달성했으며, 상위-1 정확도가 약간 감소하였다.
• VGG-16에서 이론상 4배의 속도 향상은 GPU에서 실제로 4.7배의 속도 향상과 71.6% 감소한 곱셈 연산을 이끌었으며, 오류율은 오직 5.5% 증가에 그쳤다.
• 파라미터 수와 중간 특징 맵 크기를 그대로 유지하여 기존 파ip라인에 원활하게 통합할 수 있다.
• 퍼포레이션을 장 등 [28]의 채널 간 중복성 방법과 조합하면 이론상 4배의 속도 향상과 오직 1.6%의 오류율 증가를 기록했으며, 개별적으로 적용했을 때보다 우수한 성능을 보였다.
• 퍼포레이션 후의 미세조정은 정확도 복원에 효과적이었으며, 다른 방법과 조합할 경우 두 번째 단계에서 작은 학습률만으로도 충분했다.