[논문 리뷰] Wide Compression: Tensor Ring Nets

Wenqi Wang, Yifan Sun외 3명|arXiv (Cornell University)|2018. 02. 25.

Tensor decomposition and applications참고 문헌 47인용 수 27

한 줄 요약

이 논문은 텐서 링 분해를 사용하여 깊이 신경망의 모델 크기를 크게 줄이고 정확도 손실를 최소화하는 새로운 압축 방법인 텐서 링 네트워크(TR-Nets)를 제안한다. LeNet-5에서는 11배, Wide ResNet에서는 243배의 압축을 달성했으며, CIFAR-10에서 정확도 저하율이 2.3%에 불과하여 자원 제약이 있는 장치에 효율적으로 구현할 수 있다.

ABSTRACT

Deep neural networks have demonstrated state-of-the-art performance in a variety of real-world applications. In order to obtain performance gains, these networks have grown larger and deeper, containing millions or even billions of parameters and over a thousand layers. The trade-off is that these large architectures require an enormous amount of memory, storage, and computation, thus limiting their usability. Inspired by the recent tensor ring factorization, we introduce Tensor Ring Networks (TR-Nets), which significantly compress both the fully connected layers and the convolutional layers of deep neural networks. Our results show that our TR-Nets approach {is able to compress LeNet-5 by $11 imes$ without losing accuracy}, and can compress the state-of-the-art Wide ResNet by $243 imes$ with only 2.3\% degradation in {Cifar10 image classification}. Overall, this compression scheme shows promise in scientific computing and deep learning, especially for emerging resource-constrained devices such as smartphones, wearables, and IoT devices.

연구 동기 및 목표

• 스마트폰 및 IoT 장치와 같은 메모리 및 계산 자원이 제한된 장치에 큰 깊이 신경망을 구현하는 데 도전하는 문제를 해결한다.
• 이전의 압축 방법이 주로 완전 연결 계층에 집중하는 데 반해, 현대 아키텍처를 지배하는 컨볼루션 계층으로의 압축을 확장한다.
• 특히 Wide ResNet과 같이 파rameter 수가 많은 모델에 대해 성능을 유지하면서 파라미터 수를 극적으로 줄이는 압축 프레임워크를 개발한다.
• 구조적 텐서 분해를 통해 저장소, 메모리, 계산 오버헤드를 최소화하여 엣지 장치에서의 효율적 추론을 가능하게 한다.
• 텐서 트레인과 CP 분해의 일반화로서 텐서 링 분해가 신경망 압축에 효과적인가를 입증한다.

제안 방법

• 완전 연결 계층과 컨볼루션 계층의 가중치 텐서에 모두 텐서 링(TR) 분해를 적용하여, 저랭크 텐서의 고리 구조적 곱으로 표현한다.
• 완전 연결 계층의 경우, 가중치 행렬을 고차원 텐서로 재형태화하고 TR 분해를 적용하여 파라미터 수를 줄인다.
• 컨볼루션 계층의 경우, 입력 및 출력 채널 차원만 압축하면서 공간 차원(예: 3×3 또는 5×5 필터)을 유지하여 공간 불변성을 보존한다.
• 첫 번째 및 마지막 요소 행렬이 외부 가장자리에 따라 곱해지는 고리 구조를 사용하여, CP 및 텐서 트레인 분해를 일반화한다.
• 추론 시 계산 오버헤드를 최소화하기 위해 텐서 재형태화 및 수축의 순서를 최적화한다.
• 기본 최적화 기법(SGD와 모멘타임, 학습률 감소)을 사용하여 벤치마크 데이터셋에서 압축된 네트워크를 종단 간 최적화한다.

실험 결과

연구 질문

• RQ1 텐서 링 분해가 깊이 신경망의 완전 연결 계층과 컨볼루션 계층을 모두 효과적으로 압축하면서 성능 저하 없이 수행할 수 있는가?
• RQ2 표준 이미지 분류 벤치마크에서 기존의 Tucker 및 텐서 트레인(TT) 분해 방법과 비교해 TR-Nets의 압축 성능는 어떠한가?
• RQ3 Wide ResNet과 같은 최신 모델을 얼마나 효과적으로 압축할 수 있으며, CIFAR-10 및 CIFAR-100에서 경쟁 가능한 정확도를 유지할 수 있는가?
• RQ4 기타 저랭크 분해 방법에 비해 TR-Nets는 훈련 중 일반화 갭을 줄이는 데 효과적인가?
• RQ5 엣지 장치 구현을 위한 TR-Nets에서 압축 비율, 모델 정확도, 계산 오버헤드 사이의 상충 관계는 어떠한가?

주요 결과

• LeNet-5에서는 11배의 압축을 달성했으며 정확도 저하 없이 MNIST에서 99.31%의 테스트 정확도를 유지했다.
• LeNet-300-100은 13배의 압축을 통해 정확도 저하율 0.14%로 97.36%의 정확도를 달성했다.
• 28층의 Wide ResNet에서는 243배의 압축을 달성했으며, CIFAR-10에서 정확도 저하율 2.3%로 92.7%의 정확도를 확보했다.
• 같은 압축 비율에서 TR-Nets는 Tucker 분해보다 더 작은 일반화 갭을 보이며, 훈련 중 더 나은 일반화 성능를 나타냈다.
• r=10일 때, TR-Nets는 CIFAR-100에서 최종 테스트 오차와 일반화 갭 모두에서 Tucker 분해를 능가했으며, 더 뛰어난 훈련 안정성을 보였다.
• r=2일 때 Wide ResNet에서는 1217배의 압축을 달성했지만, 오차율이 높아(16.3%로 CIFAR-100에서), 압축과 정확도 사이의 상충 관계를 보였다.