[논문 리뷰] Tensor Contraction Layers for Parsimonious Deep Nets

Jean Kossaifi, Aran Khanna외 3명|arXiv (Cornell University)|2017. 06. 01.

Tensor decomposition and applications참고 문헌 18인용 수 10

한 줄 요약

이 논문은 활성화 텐서에 텐서 수축을 적용하여 차원을 감소시키고 모델 파라미터를 줄이는 새로운 미분 가능한 신경망 레이어인 텐서 수축 레이어(TCL)를 소개한다. 컨볼루션 네트워크의 특징 맵에서 다중선형 구조를 활용함으로써 TCL은 CIFAR100 및 ImageNet 벤치마크에서 정확도를 유지하거나 향상시키면서까지도 최대 92배의 파라미터 감소를 가능하게 한다.

ABSTRACT

Tensors offer a natural representation for many kinds of data frequently encountered in machine learning. Images, for example, are naturally represented as third order tensors, where the modes correspond to height, width, and channels. Tensor methods are noted for their ability to discover multi-dimensional dependencies, and tensor decompositions in particular, have been used to produce compact low-rank approximations of data. In this paper, we explore the use of tensor contractions as neural network layers and investigate several ways to apply them to activation tensors. Specifically, we propose the Tensor Contraction Layer (TCL), the first attempt to incorporate tensor contractions as end-to-end trainable neural network layers. Applied to existing networks, TCLs reduce the dimensionality of the activation tensors and thus the number of model parameters. We evaluate the TCL on the task of image recognition, augmenting two popular networks (AlexNet, VGG). The resulting models are trainable end-to-end. Applying the TCL to the task of image recognition, using the CIFAR100 and ImageNet datasets, we evaluate the effect of parameter reduction via tensor contraction on performance. We demonstrate significant model compression without significant impact on the accuracy and, in some cases, improved performance.

연구 동기 및 목표

• 딥 네트워크에서 진정으로 필요한 파라미터 수를 규명하고, 성능을 훼손하지 않으면서 모델 크기를 줄이는 방법을 제안하기 위해.
• 특히 다차원 데이터의 구조를 활용하기 위해 텐서 대수 연산, 특히 텐서 수축을 신경망 내에서 학습 가능한 레이어로 활용하는 방법을 탐색하기 위해.
• 완전 연결 레이어를 텐서 수축 레이어로 대체함으로써 의미 있는 파라미터 감소를 이룰 수 있는지 평가하기 위해.
• 텐서 수축이 컨볼루션 네트워크에서 평탄화 및 완전 연결 레이어의 효과적인 대체 수 Mittel이 될 수 있는지, 특히 다차원 정보를 유지하고 빠른 추론을 가능하게 하는지 입증하기 위해.
• 기존 아키텍처인 AlexNet과 VGG에 적용 가능한 플러그인 모듈로서 TCL의 실현 가능성을 탐구하기 위해.

제안 방법

• 학습 가능한 투영 인자들을 사용하여 활성화 텐서에 n-모드 텐서 수축을 적용하는 엔드 투 엔드로 학습 가능한 레이어인 텐서 수축 레이어(TCL)를 제안한다.
• n-모드 곱셈 연산을 적용: $\mathcal{G} = \mathcal{X} \times_1 \mathbf{U}^{(1)} \times_2 \cdots \times_N \mathbf{U}^{(N)}$, 여기서 $\mathcal{X}$는 입력 활성화 텐서이고 $\mathbf{U}^{(n)}$는 학습 가능한 투영 행렬이다.
• 텐서 펴내기와 행렬 곱셈을 활용하여 수축을 효율적으로 계산하고, 레이어를 통해 역전파가 가능하도록 한다.
• AlexNet과 VGG의 완전 연결 레이어를 TCL로 대체하여 최종 레이어의 파라미터 수를 줄였으며, 동일하거나 향상된 성능을 유지했다.
• 다중 GPU에서 데이터 병렬 처리를 활용한 표준 학습 프로토콜을 적용하여 TCL이 탑재된 네트워크의 엔드 투 엔드 학습을 보장한다.
• 3차원 활성화 텐서(예: $\text{batch_size} \times 256 \times 5 \times 5$)를 평탄화하지 않고 그대로 사용하여 다차원 구조를 유지한다.

실험 결과

연구 질문

• RQ1 텐서 수축이 딥 네트워크 내에서 학습 가능한 레이어로 사용될 수 있으며, 성능을 유지하면서 모델 크기를 줄일 수 있는가?
• RQ2 TCL은 이미지 인식 작업에서 정확도를 떨어뜨리지 않고 완전 연결 레이어의 파라미터 수를 어느 정도 줄일 수 있는가?
• RQ3 텐서 수축을 통한 활성화 텐서의 다중선형 구조 유지가 평탄화 및 완전 연결 레이어 대비 성능 향상 또는 안정성을 높이는가?
• RQ4 TCL은 ImageNet에서 대규모 모델인 AlexNet을 얼마나 효과적으로 압축할 수 있으며, 정확도 손실 최소화와 함께 빠른 추론을 가능하게 하는가?
• RQ5 TCL은 아키텍처 재설계 없이도 기존 아키텍처에서 완전 연결 레이어의 대체 수단으로 플러그인 방식으로 사용될 수 있는가?

주요 결과

• CIFAR100에서 AlexNet과 VGG의 최종 컨볼루션 특징 맵에 TCL을 적용함으로써 파라미터 수를 최대 92배 감소시켰으며, 두 완전 연결 레이어를 모두 대체할 경우 정확도가 2.5% 감소하는 데 그쳤다.
• 크기가 동일한 TCL을 완전 연결 레이어 이전에 추가함으로써 성능은 약간 향상되었고, 완전 연결 레이어의 파라미터 수는 거의 증가하지 않았다.
• 첫 번째 완전 연결 레이어를 TCL로 대체함으로써 파라미터 수를 크게 줄였고, ImageNet에서 기준 AlexNet과 동일한 Top-1 정확도를 유지했다.
• ImageNet에서 완전 연결 레이어 이전에 TCL을 추가함으로써 파라미터 수가 거의 증가하지 않았음에도 불구하고 성능이 약간 향상되었다.
• TCL은 정확도 저하 최소화로 심각한 모델 압축을 달성했으며, 일부 경우에서는 구조화된 텐서 연산을 통한 더 나은 표현 학습으로 성능 향상이 이루어졌다.
• 감소된 파라미터 수로 인해 연산 비용이 직접적으로 낮아져 더 적은 부동소수점 연산 수를 요구하므로 추론 속도가 향상되었다.