[논문 리뷰] Iterative Low-Rank Approximation for CNN Compression

Maksym Kholiavchenko|arXiv (Cornell University)|2018. 03. 23.

Image and Signal Denoising Methods참고 문헌 23인용 수 8

한 줄 요약

이 논문은 반복적인 순환을 통해 랭크를 점진적으로 감소시키고, 텐서 분해(HOSVD/SVD) 및 피지테이닝을 반복함으로써 컨volutional neural networks(CNNs)를 압축하기 위한 반복적 저랭크 근사 방법을 제안한다. 단일 스텝 방법에 비해 더 높은 압축 비율과 훨씬 적은 정확도 손실을 달성하며, AlexNet, VGG-16, YOLOv2 및 Tiny YOLO에서 뛰어난 성능을 보여준다.

ABSTRACT

Deep convolutional neural networks contain tens of millions of parameters, making them impossible to work efficiently on embedded devices. We propose iterative approach of applying low-rank approximation to compress deep convolutional neural networks. Since classification and object detection are the most favored tasks for embedded devices, we demonstrate the effectiveness of our approach by compressing AlexNet, VGG-16, YOLOv2 and Tiny YOLO networks. Our results show the superiority of the proposed method compared to non-repetitive ones. We demonstrate higher compression ratio providing less accuracy loss.

연구 동기 및 목표

• 자원이 제한된 임베디드 및 모바일 장치에 큰 파라미터 수를 가진 CNN을 구현하는 데 도전하는 데 목적을 두며.
• 단일 스텝 저랭크 근사 방법에서 흔히 발생하는 정확도 저하 문제를 해결하기 위해 반복적 압축 프로세스를 도입한다.
• 프레임워크 수준의 수정 없이도 어떤 딥러닝 프레임워크에도 원활하게 통합될 수 있도록 한다.
• 반복적인 분해와 피지테이닝을 통해 점진적인 노이즈 감소를 실현함으로써 더 높은 압축 비율을 달성하면서 정확도 손실를 최소화한다.
• 변동 베이지안 행렬 분해(VBMF)를 사용해 랭크 선택을 자동화하면서도, 반복적으로 극단적인 랭크를 약화시켜 과도한 압축을 방지한다.

제안 방법

• VBMF를 통한 자동 극단적 랭크 선택, 랭크 약화, 텐서 분해(HOSVD를 컨볼루션 레이어에, SVD를 완전히 연결된 레이어에 적용), 그리고 모델 피지테이닝을 포함하는 네 핵심 단계로 구성된 반복적 저랭크 근사 적용.
• 4차원 컨볼루션 커널 텐서를 코어 텐서와 인자 행렬으로 분해하기 위해 고차원 특이값 분해(HOSVD)를 사용하여 파라미터 수를 감소시킨다.
• 변동 베이지안 행렬 분해(VBMF)를 활용해 초기 랭크 범위를 자동으로 결정하며, 이를 압축의 상한선으로 간주한다.
• VBMF로 추정한 랭크를 0.5에서 0.7의 비율로 감소시켜 랭크 약화를 구현함으로써 단일 단계에서의 과도한 압축을 방지한다.
• 각 반복에서 분해와 피지테이닝을 적용하는 반복적 압축 사이클을 수행하며, 정확도 저하가 1% 이하로 내려갈 때까지 계속한다.
• 배치 정규화와 같은 압축이 어려운 레이어에 대해선 선택적 사전 처리를 통해 컨볼루션 및 완전히 연결된 레이어 모두를 지원한다.

실험 결과

연구 질문

• RQ1 반복적 저랭크 근사 기법은 단일 스텝 분해에 비해 CNN 압축 과정에서 정확도 손실를 줄일 수 있는가?
• RQ2 분해 이전에 점진적으로 랭크를 약화시키는 것이 성능 저하 없이 더 높은 압축 비율을 달성하는 데 기여하는가?
• RQ3 VBMF 기반의 랭크 추정과 반복적 피지테이닝의 조합이 다양한 CNN 아키텍처에서 정확도 유지에 얼마나 효과적인가?
• RQ4 압축 비율과 추론 속도 향상 측면에서 반복적 방법은 비반복적 저랭크 근사 기법에 비해 어느 정도 뛰어난가?
• RQ5 이 방법은 프레임워크 수준의 수정 없이 다양한 딥러닝 프레임워크에 일반적으로 적용 가능한가?

주요 결과

• AlexNet에서 반복적 방법은 4.90× 압축 비율을 달성했으며 정확도 손실은 0.81%에 그쳤다. 반면 단일 압축 기법은 2.30× 압축 비율과 4.2%의 정확도 손실을 보였다.
• VGG-16에서는 반복적 방법이 1.51× 압축 비율과 0.15%의 정확도 손실을 기록했으며, 단일 압축 기법의 1.2× 압축 비율과 2.8%의 손실에 비해 뛰어난 성능을 보였다.
• YOLOv2는 반복적 방법을 통해 2.13× 압축 비율과 0.19%의 mAP 손실을 기록했으며, 단일 스텝 압축 기법의 1.7× 압축 비율과 3.1%의 mAP 손실에 비해 유의미하게 우수했다.
• Tiny YOLOv2는 반복적 방법을 통해 2.30× 압축 비율과 0.10%의 mAP 손실을 달성했으며, 비반복 기반의 2.11× 압축 비율과 2.7%의 손실에 비해 뚜렷한 성능 향상을 보였다.
• 반복적 방법은 CPU에서 높은 속도 향상을 보였으며, AlexNet의 경우 최대 4.76×의 속도 향상을 기록했고, 다양한 CPU 및 GPU 플랫폼에서 일관된 성능을 유지했다.
• 각 반복 후 피지테이닝을 통해 분해 과정에서 발생한 정확도 손실을 복구했으며, 일반적으로 각 반복당 5~15 에포크 내외에서 수렴했다.