[논문 리뷰] Compression and Interpretability of Deep Neural Networks via Tucker Tensor Layer: From First Principles to Tensor Valued Back-Propagation

Giuseppe G. Calvi, Ahmad Moniri외 3명|arXiv (Cornell University)|2019. 03. 14.

Tensor decomposition and applications참고 문헌 23인용 수 21

한 줄 요약

이 논문은 딥 네ural 네트워크의 완전히 연결된 레이어에서 밀도 있는 가중치 행렬을 타이커 텐서 분해로 대체하는 새로운 프레임워크인 타이커 텐서 레이어(TTL)를 소개한다. 이 방법은 MNIST 및 패션-MNIST에서 최대 66.63배의 파라미터 압축을 가능하게 하며 성능을 유지한다. 텐서 값의 역전파를 유도함으로써, 텐서 요소의 기울기 분석을 통해 물리적 해석 가능성을 제공하며, 이는 특징 중요도를 드러내고 VGG-16에서 10%의 속도 향상을 이끌어낸다.

ABSTRACT

This work aims to help resolve the two main stumbling blocks in the application of Deep Neural Networks (DNNs), that is, the exceedingly large number of trainable parameters and their physical interpretability. This is achieved through a tensor valued approach, based on the proposed Tucker Tensor Layer (TTL), as an alternative to the dense weight-matrices of DNNs. This allows us to treat the weight-matrices of general DNNs as a matrix unfolding of a higher order weight-tensor. By virtue of the compression properties of tensor decompositions, this enables us to introduce a novel and efficient framework for exploiting the multi-way nature of the weight-tensor in order to dramatically reduce the number of DNN parameters. We also derive the tensor valued back-propagation algorithm within the TTL framework, by extending the notion of matrix derivatives to tensors. In this way, the physical interpretability of the Tucker decomposition is exploited to gain physical insights into the NN training, through the process of computing gradients with respect to each factor matrix. The proposed framework is validated on both synthetic data, and the benchmark datasets MNIST, Fashion-MNIST, and CIFAR-10. Overall, through the ability to provide the relative importance of each data feature in training, the TTL back-propagation is shown to help mitigate the "black-box" nature inherent to NNs. Experiments also illustrate that the TTL achieves a 66.63-fold compression on MNIST and Fashion-MNIST, while, by simplifying the VGG-16 network, it achieves a 10\% speed up in training time, at a comparable performance.

연구 동기 및 목표

• 딥 네럴 네트워크(DNN)에서 높은 파라미터 수와 낮은 설명 가능성이라는 이중적 과제 해결.
• 모델 복잡도를 줄이기 위해 완전히 연결된 레이어의 밀도 있는 가중치 행렬에 대한 텐서 기반 대체 방법 개발.
• 타이커 분해 요소를 기반으로 한 역전파를 유도하여 물리적 해석 가능성 제공.
• 텐서 값의 기울기 분석을 통해 학습 과정에서 데이터 모드(예: 공간, 채널)의 상대적 중요도를 드러내기.
• 기본 데이터셋에서 정확도를 손상시키지 않은 채 상당한 압축과 속도 향상 달성.

제안 방법

• 완전히 연결된 레이어의 가중치 행렬을 고차원 가중치 텐서의 행렬 전개로 간주한다.
• 가중치 텐서에 타이커 분해(TKD)를 적용하여 압축을 위해 코어 텐서와 요인 행렬로 분해한다.
• 행렬 미분을 텐서로 확장하여 텐서 값의 역전파를 유도하고, 각 타이커 요인에 대한 기울기를 계산한다.
• 얻어진 기울기를 사용해 각 데이터 모드(예: 높이, 너비, 채널)가 학습 과정에 기여하는 방식을 해석한다.
• 표준 DNN 아키텍처(예: VGG-16)에 TTL을 통합하기 위해 완전히 연결된 레이어를 TTL 구성 요소로 대체한다.
• 복잡한 모델에 텐서 공분산에서 추출한 모드 정보(예: RGB의 모드-3)를 보완하여 성능과 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 타이커 텐서 분해를 사용해 DNN의 완전히 연결된 레이어를 압축하면서 성능을 유지할 수 있는가?
• RQ2 물리적 해석 가능성을 위해 타이커 텐서 형식에서 역전파를 분석적으로 유도할 수 있는가?
• RQ3 타이커 분해 요소에 대한 기울기 분석을 통해 특징 중요도에 대한 통찰을 얻을 수 있는가?
• RQ4 데이터 모드(예: 공간, 채널)의 상대적 중요도를 정량화하고 모델 효율성 향상에 활용할 수 있는가?
• RQ5 TTL은 실제 세계 데이터셋에서 정확도를 유지하면서 훈련 시간과 파라미터 수를 얼마나 줄일 수 있는가?

주요 결과

• TTL은 MNIST 및 패션-MNIST에서 압축 비율이 66.63배에 달했으며, 압축되지 않은 네트워크와 유사한 테스트 정확도를 확보했다.
• CIFAR-10에서 TTL 기반의 모달-VGG 모델은 89.2%의 정확도를 기록했고, 전체 VGG-16 대비 훈련 시간이 10% 감소했다.
• 모드-3(RGB 채널 정보)가 분류에 가장 중요한 것으로 밝혀졌으며, 이 정보의 포함으로 정확도가 89.2%로 향상되었다.
• 모달 증강 없이도 단순화된 VGG-16에 TTL을 적용했을 때 훈련 속도가 12% 이상 향상되었다.
• 텐서 값의 역전파 분석 결과, 모드-3가 모드-1 또는 모드-2보다 학습에 더 큰 기여를 한다는 것이 드러나 물리적 해석 가능성을 제공했다.
• 이 프레임워크는 모드 특징(예: 모드-3의 벡터화된 공분산)을 더 깊은 네트워크에 입력함으로써 데이터 증강을 가능하게 하여, 계산 비용을 줄이면서 성능을 향상시켰다.