[논문 리뷰] Matrix and tensor decompositions for training binary neural networks

Adrian Bulat, Jean Kossaifi외 2명|arXiv (Cornell University)|2019. 04. 16.

Advanced Neural Network Applications참고 문헌 37인용 수 5

한 줄 요약

이 논문은 이산화 전에 공유된 실수값 잠재 공간에서 컨볼루션 필터를 공동으로 매개변수화하기 위해 행렬 또는 텐서 분해를 사용하여 이진 신경망을 훈련시키는 새로운 방법을 제안한다. 분해를 통해 필터 간의 결합을 강제하고 역전파를 통해 스케일링 인자를 학습함으로써, 이 방법은 최신 기술 수준의 성능을 달성한다 — MPII 인간 자세 추정에서 4퍼센트 이상, ImageNet 분류에서 최대 5퍼센트의 정확도 향상을 이룬다. 이는 이진 신경망의 전체 추론 속도 향상과 모델 압축 특성을 유지하면서 이룬 성과이다.

ABSTRACT

This paper is on improving the training of binary neural networks in which both activations and weights are binary. While prior methods for neural network binarization binarize each filter independently, we propose to instead parametrize the weight tensor of each layer using matrix or tensor decomposition. The binarization process is then performed using this latent parametrization, via a quantization function (e.g. sign function) applied to the reconstructed weights. A key feature of our method is that while the reconstruction is binarized, the computation in the latent factorized space is done in the real domain. This has several advantages: (i) the latent factorization enforces a coupling of the filters before binarization, which significantly improves the accuracy of the trained models. (ii) while at training time, the binary weights of each convolutional layer are parametrized using real-valued matrix or tensor decomposition, during inference we simply use the reconstructed (binary) weights. As a result, our method does not sacrifice any advantage of binary networks in terms of model compression and speeding-up inference. As a further contribution, instead of computing the binary weight scaling factors analytically, as in prior work, we propose to learn them discriminatively via back-propagation. Finally, we show that our approach significantly outperforms existing methods when tested on the challenging tasks of (a) human pose estimation (more than 4% improvements) and (b) ImageNet classification (up to 5% performance gains).

연구 동기 및 목표

• 자신의 정확도 격차가 크며, 자원이 제한된 배포 환경에서 특히 두드러지는 실수값 신경망과 이진 신경망 간의 정확도 격차를 해소하기 위해.
• 이전 방법에서 독립적인 필터 이진화에 기인한 표현 능력 제한을 극복하기 위해.
• 이진 신경망의 계산 및 메모리 이점 손실 없이 모델 성능을 향상시키기 위해.
• 이전 작업에서 분석적으로 계산된 바와 달리, 역전파를 통해 유도적으로 스케일링 인자를 학습함으로써 이진 신경망에서 스케일링 인자의 사용을 재평가하기 위해.
• 이중화된 모델 정확도 향상을 위해 층 간 또는 전체 네트워크에 걸쳐 공동 분해를 수행하는 것이 효과적인지 검증하기 위해.

제안 방법

• 훈련 중에 각 컨볼루션 층의 가중치 텐서는 실수 영역에서 저랭크 행렬 또는 텐서 분해(예: SVD 또는 Tucker)를 사용하여 재매개변수화된다.
• 재구성된 가중치에 대해 부호 함수를 통해 이진화가 적용되지만, 분해 인자는 실수값을 유지하고 훈련 중에 학습 가능한 상태를 유지한다.
• 공유된 잠재 인자를 통해 필터 간의 상호의존성을 강제함으로써, 이진화 이전에 표현 능력을 향상시킨다.
• 이진 가중치의 스케일링 인자는 이전 작업에서 분석적으로 계산된 것과 달리 역전파를 통해 학습된다.
• 추론 시에는 단지 이진화된 재구성된 가중치만 사용되며, 분해 인자는 저장되거나 계산되지 않아 속도 향상과 압축을 그대로 유지한다.
• 이 방법은 층별 및 네트워크 전체 범위의 분해를 모두 지원하여 분해 범위에 대한 분석 연구를 가능하게 한다.

실험 결과

연구 질문

• RQ1 행렬/텐서 분해를 통한 컨볼루션 필터의 공동 매개변수화가 이진 신경망의 정확도 향상에 기여하는가?
• RQ2 역전파를 통해 스케일링 인자를 학습하는 것이 분석적 계산 방식보다 더 나은 성능을 내는가?
• RQ3 공유된 잠재 인자를 통해 필터 간의 결합을 강제함으로써 실수값 신경망과 이진 신경망 간의 정확도 격차는 어느 정도 감소하는가?
• RQ4 분해 방법(예: SVD 대비 Tucker)과 분해 범위(층별 대비 전역)의 선택이 모델 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 MPII 및 ImageNet과 같은 도전적인 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 이진 신경망의 장점을 그대로 유지할 수 있는가?

주요 결과

• 이 방법은 ResNet-18 아키텍처를 사용해 ImageNet에서 상위-1 정확도를 55.6%로 향상시켰으며, 이는 XNOR-Net가 달성한 이전 최신 기술 수준의 51.2%를 초월한다.
• MPII 인간 자세 추정 벤치마크에서 이 방법은 82.5%의 PCKh를 기록했으며, 이는 이전 최신 기술 수준 방법(HBC)의 78.1%보다 4.4% 향상된 성과이다.
• 이 방법은 전체 모델 압축과 추론 속도 향상을 유지하며, 이론적 가속도는 최대 58배, 압축률은 최대 32배에 이른다.
• 역전파를 통한 스케일링 인자 학습이 분석적 계산보다 더 나은 성능을 내는 것으로, 분석 연구에서 확인되었다.
• 다중 층에 걸친 전역 텐서 분해가 층별 분해보다 더 높은 성능을 내어, 네트워크 전체의 필터 결합이 유의미한 이점을 제공한다는 것을 보여준다.
• MPII에 대한 정성적 결과는 모델이 다양한 자세와 활동에 대해 잘 일반화됨을 보여주며, 강건성을 시사한다.