[논문 리뷰] Coordinating Filters for Faster Deep Neural Networks

Wei Wen, Cong Xu외 4명|arXiv (Cornell University)|2017. 03. 28.

Advanced Neural Network Applications참고 문헌 25인용 수 12

한 줄 요약

이 논문은 추론을 더 빠르게 하기 위해 저랭크 근사(LRA)를 더 효율적으로 만들기 위해 복소수 필터 간의 상관관계를 향상시키는 훈련 시간 기법인 '포스 정규화(Force Regularization)'를 제안한다. 역전파 동안 힘을 작용시켜 필터를 유도함으로써, LRA에 필요한 랭크를 감소시켜 CPU에서 최대 4.05배의 속도 향상을 이룬다. AlexNet에서 정확도 손실이 최소화되었으며, 희소성 기반 방법과 조합할 경우 추가로 압축이 가능하다.

ABSTRACT

Very large-scale Deep Neural Networks (DNNs) have achieved remarkable successes in a large variety of computer vision tasks. However, the high computation intensity of DNNs makes it challenging to deploy these models on resource-limited systems. Some studies used low-rank approaches that approximate the filters by low-rank basis to accelerate the testing. Those works directly decomposed the pre-trained DNNs by Low-Rank Approximations (LRA). How to train DNNs toward lower-rank space for more efficient DNNs, however, remains as an open area. To solve the issue, in this work, we propose Force Regularization, which uses attractive forces to enforce filters so as to coordinate more weight information into lower-rank space. We mathematically and empirically verify that after applying our technique, standard LRA methods can reconstruct filters using much lower basis and thus result in faster DNNs. The effectiveness of our approach is comprehensively evaluated in ResNets, AlexNet, and GoogLeNet. In AlexNet, for example, Force Regularization gains 2x speedup on modern GPU without accuracy loss and 4.05x speedup on CPU by paying small accuracy degradation. Moreover, Force Regularization better initializes the low-rank DNNs such that the fine-tuning can converge faster toward higher accuracy. The obtained lower-rank DNNs can be further sparsified, proving that Force Regularization can be integrated with state-of-the-art sparsity-based acceleration methods. Source code is available in https://github.com/wenwei202/caffe

연구 동기 및 목표

• 높은 계산 요구량으로 인해 자원이 제한된 장치에 대규모 DNN를 구현하는 데 어려움이 존재하는 문제를 해결하기 위해.
• 초기 단계부터 낮은 랭크의 가중치 공간을 향해 DNN를 훈련시킴으로써 저랭크 근사(LRA) 방법의 효율성을 향상시키기 위해.
• LRA를 통한 정확한 필터 재구성에 필요한 랭크를 줄임으로써 더 빠른 추론을 가능하게 하기 위해.
• 후속 희소화 및 하드웨어 가속에 더 잘 적합한 DNN를 만들기 위해.
• 필터의 분류 능력을 향상시키기 위해 방법을 일반화하여 정확도를 향상시키기 위해.

제안 방법

• 포스 정규화는 역전파 중에 필터를 가중치 공간에서 정렬하는 유도력 역할을 하는 추가 기울기 항을 도입함으로써, 필터 간의 상관관계를 향상시킨다.
• 이 방법은 필터 간 코사인 유사도를 기반으로 한 정규화 손실을 사용하여, 필터의 벡터 표현 간의 각도를 줄이고 더 가까이 맞추도록 유도한다.
• 정규화는 강도를 조절하는 하이퍼파rameter λ를 사용하여 훈련 중에 적용되며, 미분 가능하므로 엔드 투 엔드 훈련이 가능하다.
• 포스 정규화로 훈련한 후, 네트워크의 필터는 크로스-필터 PCA와 같은 기법을 통해 더 낮은 랭크로도 동일한 재구성 오차를 유지할 수 있도록 더 잘 분해 가능해진다.
• 기존의 LRA 및 희소성 기반 가속 기법과 호환되어 공동 압축과 속도 향상을 가능하게 한다.
• 힘의 방향을 뒤집어 음수 λ를 사용함으로써, 이 방법은 분류 능력을 향상시키기 위해 필터 간의 직교성을 강화하는 '분류 정규화(Discrimination Regularization)'로 일반화될 수 있다.

실험 결과

연구 질문

• RQ1 추가 정규화 힘을 적용하여 DNN를 훈련함으로써 필터 간의 상관관계를 향상시켜 더 효율적인 저랭크 근사(LRA)를 가능하게 할 수 있는가?
• RQ2 포스 정규화가 LRA를 통한 정확한 필터 재구성에 필요한 랭크를 줄여 더 빠른 추론을 가능하게 하는가?
• RQ3 포스 정규화로 훈련된 DNN는 LRA 분해 후 더 효과적으로 미세조정될 수 있는가? 이로 인해 더 높은 정확도에 더 빨리 수렴하는가?
• RQ4 저랭크 모델은 SSL이나 연결 제거와 같은 희소성 기반 방법으로 추가로 압축될 수 있는가?
• RQ5 동일한 정규화 방법을 변형하여 필터의 분류 능력을 향상시켜 정확도를 높일 수 있는가?

주요 결과

• AlexNet의 첫 번째 합성곱 레이어에서 포스 정규화는 LRA에 필요한 랭크를 최대 55% 감소시켰다(11에서 5로), 재구성 오차는 ≤20%를 유지하였다.
• AlexNet에서 이 방법은 현대적인 GPU에서 2배의 속도 향상을, CPU에서는 4.05배의 속도 향상을 기록했으며, 정확도 저하율은 0.8%에 불과했다.
• LRA 분해된 모델의 미세조정 속도가 빨라졌는데, 이는 포스 정규화로 초기화된 모델이 더 빨리 높은 정확도에 수렴하기 때문이다.
• 포스 정규화로 생성된 경량 DNN는 구조적(SSL) 및 비구조적 희소성 방법으로 추가로 희소화되어 기준 모델보다 더 높은 압축률과 속도 향상을 달성했다.
• 딥 컴프레션과 조합했을 때, 이 방법은 기준 모델 대비 2.69배 더 빠른 추론을 달성했으며, 유사한 압축률을 유지하면서도 합성곱 레이어에서 더 뛰어난 성능을 보였다.
• 이 방법의 변종인 분류 정규화는 AlexNet에서 상위-1 정확도를 0.92% 향상시켰고, ResNet-20에서는 0.85% 향상시켜 더 나은 특징 학습 능력을 입증했다.