[논문 리뷰] T-Basis: a Compact Representation for Neural Networks

Anton Obukhov, Maxim Rakhuba외 4명|arXiv (Cornell University)|2020. 07. 13.

Tensor decomposition and applications인용 수 14

한 줄 요약

T-Basis는 다수의 레이어를 저질서 계수를 통해 매개변수화하는 공유된 3차원 텐서 기반을 학습하여 신경망에 대해 압축 가능한 텐서 표현을 도입함으로써 고압축을 실현하면서 정확도 손실를 최소화한다. 이는 WRN-28-10에서 0.149×의 상태최저 압축 비율을 달성하면서도 엣지 장치에 적합한 성능을 유지한다.

ABSTRACT

We introduce T-Basis, a novel concept for a compact representation of a set of tensors, each of an arbitrary shape, which is often seen in Neural Networks. Each of the tensors in the set is modeled using Tensor Rings, though the concept applies to other Tensor Networks. Owing its name to the T-shape of nodes in diagram notation of Tensor Rings, T-Basis is simply a list of equally shaped three-dimensional tensors, used to represent Tensor Ring nodes. Such representation allows us to parameterize the tensor set with a small number of parameters (coefficients of the T-Basis tensors), scaling logarithmically with each tensor's size in the set and linearly with the dimensionality of T-Basis. We evaluate the proposed approach on the task of neural network compression and demonstrate that it reaches high compression rates at acceptable performance drops. Finally, we analyze memory and operation requirements of the compressed networks and conclude that T-Basis networks are equally well suited for training and inference in resource-constrained environments and usage on the edge devices.

연구 동기 및 목표

• 자원 제약이 있는 엣지 장치에 대규모 고성능 딥 뉴럴 네트워크를 구현하는 데 도전한다.
• 기존의 Tensor Ring (TR) 방법이 각 레이어마다 독립적인 분해가 필요하여 높은 매개변수 오버헤드를 유발하는 한계를 극복한다.
• 네트워크의 다수 레이어에 일반화 가능한 통합된 저매개변수 기반 표현을 개발한다.
• 메모리 및 계산 비용을 최소화하여 엣지 장치에서의 효율적 훈련 및 추론을 가능하게 한다.
• ResNets, WideResNets, DeepLabV3+와 같은 다양한 아키텍처와 데이터셋에서 본 방법의 효과성을 입증한다.

제안 방법

• 신경망 내 다수의 고차원 가중치 텐서를 표현하기 위해 공유된 3차원 텐서(기반)의 집합인 T-Basis를 제안한다.
• 각 레이어의 가중치 텐서를 기반 텐서의 선형 조합으로 매개변수화하며, 이 계수는 훈련 중에 학습된다.
• 개별 레이어의 가중치를 표현하기 위해 Tensor Ring (TR) 분해를 사용하며, 기반은 레이어 간에 공유된다.
• 모델 용량과 압축을 제어하기 위해 두 가지 글로벌 하이퍼파라미터인 기반 크기(B)와 TR 랭크(R)를 도입한다.
• 컨볼루션 및 완전 연결 레이어에 기반을 적용하여 매개변수 효율적인 압축을 가능하게 한다.
• 표준 백프로파게이션을 통해 기반과 계수를 동시에 최적화하여 표준 훈련 파ip라인과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 공유된 텐서 기반은 딥 뉴럴 네트워크의 가중치를 표현하기 위해 필요한 매개변수 수를 크게 줄일 수 있는가?
• RQ2 다양한 아키텍처에서 기존의 압축 방법과 비교해 T-Basis는 정확도와 압축 비율 측면에서 어떻게 성능을 내는가?
• RQ3 정밀조정 없이도 기반을 다른 모델과 작업 간에 얼마나 효과적으로 이식할 수 있는가?
• RQ4 극한의 압축 환경에서 기반 크기, TR 랭크, 모델 성능 간의 상호 상충 관계는 어떠한가?
• RQ5 대규모 세그멘테이션 작업에서 매우 높은 압축 비율(예: 원래 매개변수의 1% 미만)에서도 T-Basis는 높은 성능을 유지할 수 있는가?

주요 결과

• T-Basis는 WRN-28-10에서 0.149×의 압축 비율을 달성했으며, 상위 1위 정확도는 57.64%로 CIFAR-10에서 최신 기술을 초월한다.
• ResNet-34 기반의 DeepLabV3+에서 T-Basis는 4.777×의 압축 비율을 달성했으며, mIoU는 63.07% (±0.08)로 기준 모델(64.08%)의 1% 이내 성능을 유지한다.
• 극한의 압축 수준에서도 성능을 유지하며, Pascal VOC에서 1.450× 압축 비율로 58.18% mIoU (±0.69)를 달성했다.
• B=32와 R=8를 사용한 T-Basis는 WRN-28-10에서 0.149×의 압축 비율을 달성했으며, 정확도-압축 비율 트레이드오프 측면에서 TRN 및 기타 최신 방법을 능가한다.
• 기반은 모델과 작업 간에 이식 가능하며, 미세조정 없이도 성능 저하가 최소한이므로 강력한 일반화 능력을 보인다.
• T-Basis 네트워크의 메모리 및 계산 요구사항은 낮아 엣지 장치에서의 효율적 훈련 및 추론을 지원할 수 있다.