[논문 리뷰] Bayesian Tensorized Neural Networks with Automatic Rank Selection

Cole Hawkins, Zheng Zhang|arXiv (Cornell University)|2019. 05. 24.

Tensor decomposition and applications참고 문헌 45인용 수 17

한 줄 요약

이 논문은 변분 추론을 통한 자동 랭크 선택을 갖춘 텐서 트레이스 분해를 사용하는 베이지안 텐서라이즈드 신경망을 제안한다. 이는 모델 크기를 작게 유지하면서도 종단 간 훈련과 불확실성 측정을 가능하게 한다. 표준 네트워크 대비 MNIST 및 CIFAR-10 벤치마크에서 7.4×에서 137×의 압축을 달성하면서도 높은 정확도를 유지한다.

ABSTRACT

Tensor decomposition is an effective approach to compress over-parameterized neural networks and to enable their deployment on resource-constrained hardware platforms. However, directly applying tensor compression in the training process is a challenging task due to the difficulty of choosing a proper tensor rank. In order to achieve this goal, this paper proposes a Bayesian tensorized neural network. Our Bayesian method performs automatic model compression via an adaptive tensor rank determination. We also present approaches for posterior density calculation and maximum a posteriori (MAP) estimation for the end-to-end training of our tensorized neural network. We provide experimental validation on a fully connected neural network, a CNN and a residual neural network where our work produces $7.4 imes$ to $137 imes$ more compact neural networks directly from the training.

연구 동기 및 목표

• 낮은 랭크 신경망 압축에서 최적의 텐서 랭크를 선택하는 문제에 대응하는 것. 이는 모델 효율성과 성능에 매우 중요하다.
• 베이지안 추론과 텐서 트레이스 분해를 통합하여 압축된 신경망의 종단 간 훈련을 가능하게 하는 것.
• 사전 지식이나 수동 튜닝 없이 훈련 중에 텐서 랭크를 자동으로 결정하는 것.
• 완전한 사후 분포 추론을 통해 예측에 대한 불확실성 추정을 제공함으로써 안전이 중요한 응용 분야에서의 신뢰성을 향상시키는 것.
• 완전 연결층과 합성곱층에서 모두 높은 압축 비율을 달성하면서도 정확도를 유지하거나 향상시키는 것.

제안 방법

• 방법론은 가중치 행렬과 합성곱 커널을 텐서 트레이스(TT) 분해를 통해 매개변수화하여, 낮은 랭크 분해를 통해 모델 파라미터를 감소시킨다.
• TT-랭크에 대한 희박성을 유도하기 위해 계층적 베이지안 사전분포를 도입하여 데이터 기반 증거에 기반한 자동 랭크 결정을 가능하게 한다.
• 스웨인 변분 경사하강법(SVGD)을 사용하여 네트워크 가중치 상의 완전한 사후 분포를 근사함으로써 확장 가능한 베이지안 추론을 실현한다.
• 동일한 프레임워크를 사용하여 최대 사후확률(MAP) 추정을 수행함으로써 효율적인 추론과 불확실성 측정을 가능하게 한다.
• TT-랭크가 학습 도중에 적응적으로 업데이트되는 기반으로 기반한 경사 기반 최적화를 통해 종단 간 훈련을 수행한다.
• 이 프레임워크는 완전한 베이지안 추론과 MAP 추정을 모두 지원하여 불확실성 측정과 계산 비용 사이의 트레이드오���을 허용한다.

실험 결과

연구 질문

• RQ1 베이지안 추론은 텐서 트레이스 분해와 효과적으로 통합되어 신경망 훈련 중에 자동으로 텐서 랭크를 선택할 수 있는가?
• RQ2 고정된 랭크를 가진 텐서라이즈드 네트워크와 비교할 때, 제안된 방법은 모델 압축과 예측 정확도 측면에서 어떻게 다른가?
• RQ3 자동 랭크 결정은 이미지 분류 작업에서 높은 성능을 유지하면서 모델 크기를 얼마나 줄일 수 있는가?
• RQ4 베이지안 공식화는 특히 모호한 입력에 대해 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ5 이 방법은 완전 연결층에 비해 합성곱층에서 더 뛰어난 압축을 달성하는가? 그리고 그 이유는 무엇인가?

주요 결과

• 제안된 LR-BTNN 방법은 표준 베이지안 신경망 대비 두 층의 완전 연결 MNIST 네트워크에서 최대 137×의 파라미터 감소를 달성한다.
• 6층의 CNN에서 모델은 15.8×의 압축 비율을 달성하면서도 경쟁 가능한 정확도를 유지하며, 이전의 텐서라이제이션 방법을 능가한다.
• 110층의 리스크 네트워크에서 모델은 7.4×의 압축 비율을 달성하면서 전체 모델 대비 테스트 정확도가 0.7% 뿐 감소한다.
• 자동 랭크 선택 과정은 TT-랭크를 크게 감소시킨다. 예를 들어, MNIST 모델의 첫 번째 완전 연결 레이어에서 (1,20,20,20,1)에서 (1,8,1,5,1)로 감소한다.
• 베이지안 공식화는 불확실성 측정을 가능하게 한다: 모호한 입력에 대해서는 소프트맥스 출력의 연합 밀도도에서 여러 클래스에 대해 높은 신뢰도를 표현할 수 있다.
• 이 방법은 특히 완전 연결층에서 표준 베이지안 신경망과 고정 랭크 텐서라이즈드 네트워크보다 더 뛰어난 압축 효율성을 보인다.