[논문 리뷰] Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation

Emily Denton, Wojciech Zaremba외 3명|arXiv (Cornell University)|2014. 04. 02.

Advanced Neural Network Applications참고 문헌 15인용 수 1,095

한 줄 요약

이 논문은 구조적 부족성을 이용하여 컨볼루션 필터에서 발생하는 재현성을 활용함으로써 대규모 컨볼루션 신경망(CNN)의 추론을 가속화하기 위해 선형 압축 기법—특히 저질서 근사와 필터 클러스터링—을 제안한다. 이 방법은 CPU 및 GPU에서 각각 2–3×의 속도 향상을 이룩하며 정확도가 1% 미만으로 떨어지면서 완전히 연결된 계층의 파라미터를 최대 13×까지 감소시킨다.

ABSTRACT

We present techniques for speeding up the test-time evaluation of large convolutional networks, designed for object recognition tasks. These models deliver impressive accuracy but each image evaluation requires millions of floating point operations, making their deployment on smartphones and Internet-scale clusters problematic. The computation is dominated by the convolution operations in the lower layers of the model. We exploit the linear structure present within the convolutional filters to derive approximations that significantly reduce the required computation. Using large state-of-the-art models, we demonstrate we demonstrate speedups of convolutional layers on both CPU and GPU by a factor of 2x, while keeping the accuracy within 1% of the original model.

연구 동기 및 목표

• 스마트폰과 대규모 클러스터와 같은 자원 제약이 있는 장치에서 대규모 CNN을 평가하는 데 드는 높은 계산 비용을 해결하기 위해.
• 정확도가 크게 떨어지지 않도록 최신 ImageNet 모델의 추론 시간을 단축시키기 위해.
• 선형 대수 기반의 압축 기법을 통해 컨볼루션 필터 내재적 부족성을 활용하여 계산 부담을 최소화하기 위해.
• 압축 기법을 초기 컨볼루션 계층과 완전히 연결된 계층 양쪽에 효과적으로 적용하여 효율적인 배포를 가능하게 하기 위해.
• 압축 기법을 계층 간에 연결하여 누적된 속도 향상을 달성하면서도 모델 성능을 유지할 수 있음을 보여주기 위해.

제안 방법

• 4차원 컨볼루션 필터 가중치를 저질서 텐서 분해(예: SVD 기반)를 적용하여 파라미터 수와 계산량을 감소시킨다.
• 단색 근사와 외적 곱 분해를 이용한 이중 클러스터링을 통해 같은 계층 내 필터 간 유사성을 활용한다.
• 계층별 압축 수행: 첫 번째 컨볼루션 계층을 압축하고 상위 계층을 미세 조정한 후, 두 번째 계층을 압축하고 이를 반복한다.
• 완전히 연결된 계층을 표준 SVD를 적용하여 파라미터 수를 최대 13×까지 감소시킨다.
• 각 압축 단계 이후에 미세 조정을 수행하여 모델 정확도를 복원하고 성능 저하를 최소화한다.
• 기존의 가속화 방법(예: 양자화 및 푸리에 기반 컨볼루션)과 압축 기법을 조합하여 상호 보완적인 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 대규모 CNN에서 컨볼루션 필터의 구조적 부족성을 활용하여 추론 시간을 단축시킬 수 있는가?
• RQ2 저질서 근사와 필터 클러스터링을 통해 정확도를 유지하면서 얼마나 효과적으로 추론 속도를 향상시킬 수 있는가?
• RQ3 여러 계층에 걸쳐 압축을 연결함으로써 누적된 속도 향상은 얼마나 효과적인가?
• RQ4 완전히 연결된 계층의 파라미터 수를 줄이는 것이 모바일 배포의 메모리 효율성에 크게 기여하는가?
• RQ5 압축 과정이 정규화 효과를 가지며 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 압축 기법은 최신 ImageNet 모델의 컨볼루션 계층에서 CPU 및 GPU 모두에서 2–3×의 속도 향상을 달성한다.
• 정확도가 1% 미만으로 떨어지면서 SVD 기반 저질서 근사를 통해 완전히 연결된 계층의 파라미터 수를 최대 13×까지 감소시킨다.
• 첫 번째 컨볼루션 계층에 단색 근사를 적용하면 파라미터 수가 3× 감소하고 오차는 0.43%만 증가한다.
• 두 번째 계층에 외적 곱 분해를 이용한 이중 클러스터링을 적용하면 파라미터 수가 5.3× 감소하고 오차는 0.68% 증가한다.
• 첫 번째 및 두 번째 계층에 걸쳐 압축을 연결함으로써 원본 모델과 정확도 차이를 1% 이내로 유지하면서도 더 큰 전반적인 속도 향상을 달성한다.
• 압축 과정이 필터를 정돈하는 데 기여하며 가끔 테스트 오차를 개선하는 것으로 나타나 정규화 효과가 있을 가능성이 있다.