[논문 리뷰] Tensorizing Neural Networks

Alexander Novikov, Dmitry Podoprikhin외 2명|arXiv (Cornell University)|2015. 09. 22.

Tensor decomposition and applications참고 문헌 25인용 수 498

한 줄 요약

이 논문은 텐서 트레이스(TT) 형식을 사용하여 완전히 연결된 레이어의 가중치 행렬을 텐서화함으로써, 모델 정확도를 유지하면서도 파라미터 수를 최대 200,000배까지 감소시키는 방법을 제안한다. 이 방법은 훨씬 더 작은 모델을 만들고 추론 속도를 높이며, 전체 네트워크의 압축 비율을 최대 7배까지 높이며, 메모리나 계산 자원을 초과하지 않는 한계 내에서 훨씬 넓고 표현력 있는 레이어를 사용할 수 있도록 한다.

ABSTRACT

Deep neural networks currently demonstrate state-of-the-art performance in several domains. At the same time, models of this class are very demanding in terms of computational resources. In particular, a large amount of memory is required by commonly used fully-connected layers, making it hard to use the models on low-end devices and stopping the further increase of the model size. In this paper we convert the dense weight matrices of the fully-connected layers to the Tensor Train format such that the number of parameters is reduced by a huge factor and at the same time the expressive power of the layer is preserved. In particular, for the Very Deep VGG networks we report the compression factor of the dense weight matrix of a fully-connected layer up to 200000 times leading to the compression factor of the whole network up to 7 times.

연구 동기 및 목표

• 딥 네ural 네트워크에서 모델 배포에 있어 주요 병목 현상이 되는 완전히 연결된 레이어의 메모리 및 계산 비용을 줄이기 위해.
• 밀도 높은 가중치 행렬의 파라미터 수를 극적으로 압축하면서도 모델 정확도를 유지하기 위해.
• 표준 밀집 행렬 대신 저차원 파rameter를 가진 TT 형식 분해를 사용하여 훨씬 넓고 표현력 있는 완전히 연결된 레이어를 사용할 수 있도록 하기 위해.
• 가능한 TT 연산이 미분 가능하도록 하여 표준 역전파 학습 알고리즘과의 호환성을 유지하기 위해.
• TT 분해된 네트워크가 CIFAR-10과 같은 벤치마크 데이터셋에서 기존의 비컨볼루션 네트워크를 능가할 수 있음을 입증하기 위해.

제안 방법

• 완전히 연결된 레이어의 밀집 가중치 행렬을 다차원 텐서로 표현하고, 이를 텐서 트레이스(TT) 분해를 통해 작은 코어 텐서의 시퀀스로 분해한다.
• TT 형식을 사용하여 레이어를 파arameter화함으로써, 입력 및 출력 차원에 대해 선형적으로 증가하는 파라미터 수를 확보하며, 이는 이차적으로 증가하는 것과는 대비된다.
• TT 분해의 성질을 활용하여 역전파에 적합한 미분 가능한 업데이트 규칙을 유도함으로써 표준 확률적 경사 하강법과의 호환성을 확보한다.
• TT 랭크를 제약 조건으로 설정하여 모델 용량과 압축 정도를 제어하면서, 표준 최적화 기법을 사용해 TT 레이어를 엔드 투 엔드로 훈련한다.
• VGG 스타일의 네트워크에서 완전히 연결된 레이어에 TT 레이어를 적용하여 표준 밀집 레이어를 대체하고, 컨볼루션 레이어는 그대로 유지한다.
• TT-Toolbox 및 MatConvNet 확장 기능을 사용하여 CPU 및 GPU 환경에서 효율적으로 TT 레이어를 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 텐서 트레이스 분해가 완전히 연결된 레이어의 가중치 행렬을 의미 없이 정확도 손실 없이 효과적으로 압축할 수 있는가?
• RQ2 TT 분해를 통해 완전히 연결된 레이어의 파라미터 수를 얼마나 줄일 수 있으며, 이로 인해 모델 성능 유지가 가능한가?
• RQ3 TT 레이어를 사용하면 이전에는 가능하지 않았던 훨씬 넓고 표현력 있는 완전히 연결된 레이어를 훈련시킬 수 있는가?
• RQ4 TT 레이어의 추론 속도와 메모리 사용량은 표준 완전히 연결된 레이어와 비교해 어떻게 되는가?
• RQ5 TT 분해된 네트워크가 CIFAR-10과 같은 비컨볼루션 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• TT 레이어는 VGG 네트워크의 가장 큰 완전히 연결된 레이어를 194,622배(102,981,504에서 528로) 압축하면서 상위 5개 예측 오차가 0.3% 증가하는 데 그쳤다.
• 가장 큰 및 두 번째로 큰 완전히 연결된 레이어를 모두 TT 압축한 결과 전체 네트워크의 압축 비율이 최대 7.4배에 달했다.
• CPU에서 추론 시간이 13배 빨라졌으며(1.2ms 대비 16.1ms), GPU에서는 6.7배 빨라졌다(1.9ms 대비 12.9ms).
• 단일 순전파에 대한 메모리 사용량은 완전히 연결된 레이어의 392MB에서 TT 레이어의 0.766MB로 감소하여 500배 이상 감소했다.
• CIFAR-10에서 262,144개의 은닉 유닛을 가진 매우 넓은 TT 레이어가 다른 비컨볼루션 네트워크를 능가했으며, 해당 유형에 대해 새로운 최고 기록을 수립했다.
• 낮은 랭크 기반 기준 방법보다도 더 높은 압축 효율을 보였으며, 유사한 압축 비율을 달성하면서도 정확도 저하가 훨씬 적었다.