[논문 리뷰] Automatic Rank Selection for High-Speed Convolutional Neural Network

Hyeji Kim, Chong‐Min Kyung|arXiv (Cornell University)|2018. 06. 28.

Advanced Neural Network Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 저랭크 분해를 통한 컨volutional 신경망(CNN) 가속화를 위해 모델 단위 랭크 선택 알고리즘을 제안한다. 선형 근사 정확도 함수와 공간 제약 파라미터를 사용하여 최적의 랭크 조합을 효율적으로 탐색한다. 이 방법은 VGG-16에서 90.0%의 top-5 정확도를 유지하면서 4.03×의 속도 향상을 달성했으며, 추론 및 훈련 시간에서 최신 기술을 능가하면서도 높은 정확도를 유지를 한다.

ABSTRACT

Low-rank decomposition plays a central role in accelerating convolutional neural network (CNN), and the rank of decomposed kernel-tensor is a key parameter that determines the complexity and accuracy of a neural network. In this paper, we define rank selection as a combinatorial optimization problem and propose a methodology to minimize network complexity while maintaining the desired accuracy. Combinatorial optimization is not feasible due to search space limitations. To restrict the search space and obtain the optimal rank, we define the space constraint parameters with a boundary condition. We also propose a linearly-approximated accuracy function to predict the fine-tuned accuracy of the optimized CNN model during the cost reduction. Experimental results on AlexNet and VGG-16 show that the proposed rank selection algorithm satisfies the accuracy constraint. Our method combined with truncated-SVD outperforms state-of-the-art methods in terms of inference and training time at almost the same accuracy.

연구 동기 및 목표

• CNN 가속화에서 계층 단위 랭크 선택의 비효율성, 즉 국소 최적점에 갇히는 문제를 해결하기 위해.
• 모든 계층에 걸쳐 최적의 랭크 선택을 위한 계산 복잡도를 줄이면서도 목표 정확도를 유지하기 위해.
• 완전한 미세조정 없이도 정밀한 성능을 예측할 수 있는 예측 정확도 함수를 개발하기 위해.
• 자원 제약이 있는 장치에서 최적의 저랭크 분해를 통해 효율적이고 고속의 CNN 배포를 가능하게 하기 위해.

제안 방법

• 정확도 및 복잡도 제약 조건 하에 랭크 선택을 조합 최적화 문제로 수식화한다.
• 가능한 랭크 조합으로의 탐색 공간을 제한하기 위해 경계 조건을 갖는 공간 제약 파라미터를 도입한다.
• 사전 미세조정 정확도와 사후 미세조정 성능 간의 상관관계를 고려한 선형 근사 정확도 함수를 사용하여 최적화를 이끈다.
• 모든 계층의 랭크를 동시에 업데이트하는 모델 단위 탐색 전략을 적용하여, 계층 단위 탐욕적 방법에서 흔히 발생하는 국소 최적점 회피를 목표로 한다.
• 저랭크 분해를 위해 절삭된 SVD를 적용하고, 정확도 및 비용 제약 조건에 기반해 반복적으로 최적의 랭크 조합을 선택한다.
• 감소된 비용 모델에서의 미세조정 실험을 통해 유도된 정확도 임계값에 기반한 종료 조건을 사용한다.

실험 결과

연구 질문

• RQ1 모델 단위 랭크 선택 전략이 국소 최적점에 갇히기 쉬운 계층 단위 탐욕적 접근 방식보다 전역 최적의 랭크 구성 조합을 더 잘 찾을 수 있는가?
• RQ2 저랭크 CNN에서 사전 미세조정 테스트 정확도가 사후 미세조정 정확도를 얼마나 정확하게 예측할 수 있는가?
• RQ3 최적성의 손실 없이도 랭크 선택의 탐색 공간을 줄이기 위해 필요한 제약 조건은 무엇인가?
• RQ4 제안된 방법이 최신 기술 대비 더 빠른 추론 및 훈련 시간을 달성하면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 VGG-16에서 90.0%의 top-5 정확도를 유지하면서 4.03×의 속도 향상을 달성했으며, 추론 및 훈련 시간 모두 이전 방법들을 능가한다.
• 모델 단위 탐색 전략이 성공적으로 국소 최적점에서 벗어나 계층 단위 접근 방식보다 더 우수한 전체 랭크 구성 조합을 도출했다.
• 사전 및 사후 미세조정 정확도 간의 선형 근사는 완전한 미세조정 없이도 최종 성능을 정확하게 예측할 수 있게 해주었다.
• 최적의 랭크 선택을 통해 VGG-16의 커널 계층 수를 37개에서 29개로 줄였으며, 이는 더 빠른 추론에 기여했다.
• GPU 환경에서 제안된 모델은 전방 계산 시간이 8.39ms(기준 대비 2.82× 빠름)이며, 역방향 계산 시간은 12.11ms(1.49× 빠름)였다.
• 계산 비용을 크게 줄였음에도 불구하고 원본 정확도에 근접한 성능(89.9% top-5)을 유지하여 강력한 성능-비용 효율성을 입증했다.