[논문 리뷰] Tensorized Spectrum Preserving Compression for Neural Networks.

Jiahao Su, Jingling Li외 2명|arXiv (Cornell University)|2018. 05. 25.

Tensor decomposition and applications인용 수 7

한 줄 요약

이 논문은 고차원 텐서 분해를 활용하여 신경망의 스펙트럼을 유지하는 텐서화된 스펙트럼 보존 압축 기법을 제안한다. 이는 모델의 불변성과 일반화 능력을 유지하는 데 기여한다. 새로운 텐서 분해 기법과 데이터 복원 기반 학습을 융합함으로써, 최신 네트워크의 합성곱층과 완전연결층 모두에서 기존 방법에 비해 뛰어난 압축 성능을 달성한다.

ABSTRACT

Modern neural networks can have tens of millions of parameters, and are often ill-suited for smartphones or IoT devices. In this paper, we describe an efficient mechanism for compressing large networks by {\em tensorizing\/} network layers: i.e. mapping layers on to high-order matrices, for which we introduce new tensor decomposition methods. Compared to previous compression methods, some of which use tensor decomposition, our techniques preserve more of the networks invariance structure. Coupled with a new data reconstruction-based learning method, we show that tensorized compression outperforms existing techniques for both convolutional and fully-connected layers on state-of-the art networks.

연구 동기 및 목표

• 스마트폰 및 IoT 시스템과 같은 자원이 제한된 장치에 대규모 신경망을 구현하는 데 도전하는 문제를 해결하기 위해.
• 기존의 텐서 분해 방법에서 자주 손실되는 신경망의 불변성 구조를 압축 과정 동안 유지하기 위해.
• 매우 높은 모델 정확도를 유지하면서도 의미 있는 파라미터 감소를 달성하는 새로운 압축 프레임워크를 개발하기 위해.
• 통합된 텐서 기반 접근 방식을 사용하여 합성곱층과 완전연결층 양쪽에 효과적인 압축을 확장하기 위해.

제안 방법

• 신경망 레이어를 고차원 텐서로 매핑하여 텐서 분해를 통한 구조적 파라미터 감소를 가능하게 한다.
• 딥 네트워크에서 스펙트럼 성질과 불변성을 유지하기 위해 특화된 새로운 텐서 분해 방법을 도입한다.
• 압축된 모델의 정밀도를 유지하기 위해 데이터 복원 기반 학습 전략을 활용하여 최적화한다.
• 통합된 텐서화 접근 방식을 사용하여 합성곱층과 완전연결층 양쪽에 압축 프레임워크를 적용한다.
• 정보 손실를 최소화하면서도 압축 효율성을 극대화하기 위해 분해 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 텐서 분해를 사용하여 신경망을 압축하면서도 그들의 불변성과 스펙트럼 구조를 유지할 수 있는가?
• RQ2 합성곱층과 완전연결층 양쪽에서 기존 방법과 비교해 텐서화된 압축 기법의 정확도와 파라미터 감소 성능는 어떠한가?
• RQ3 데이터 복원 기반 학습 전략이 압축된 모델의 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 다양한 최신 네트워크 아키텍처에 걸쳐 효과적인 압축을 달성할 수 있는가?

주요 결과

• 제안된 텐서화된 압축 기법은 합성곱층과 완전연결층 양쪽에서 기존 기법에 비해 모델 정확도 유지 측면에서 뛰어난 성능을 보였다.
• 이 방법은 원래 네트워크의 불변성 구조를 유지하여 더 나은 일반화 능력과 강건성을 기여한다.
• 고차원 텐서 분해를 활용함으로써 상당한 파라미터 감소를 달성하면서도 정확도 저하가 거의 발생하지 않았다.
• 데이터 복원 기반 학습 방법은 압축된 모델을 효과적으로 최적화하여 후속 작업에서의 성능을 향상시켰다.