[논문 리뷰] Learning Compressed Transforms with Low Displacement Rank

Anna Thomas, Albert Gu외 3명|PubMed|2018. 10. 04.

Sparse and Compressive Sensing Techniques참고 문헌 49인용 수 3

한 줄 요약

이 논문은 이동 연산자와 저랭크 잔여항을 모두 데이터로부터 학습하는, 저이동 랭크(LDR) 행렬의 새로운 클래스를 제안한다. 이로 인해 이전의 고정 연산자 LDR 방법보다 더 높은 표현 능력을 확보할 수 있으며, 완전히 연결된, 합성곱, 순환 네트워크에서 최신 기술 수준의 압축률과 정확도를 달성한다. 일부 작업에서는 비정형 완전 연결 레이어조차도 초월하며, 파라미터 수를 20배 이상 줄였다.

ABSTRACT

The low displacement rank (LDR) framework for structured matrices represents a matrix through two displacement operators and a low-rank residual. Existing use of LDR matrices in deep learning has applied fixed displacement operators encoding forms of shift invariance akin to convolutions. We introduce a rich class of LDR matrices with more general displacement operators, and explicitly learn over both the operators and the low-rank component. This class generalizes several previous constructions while preserving compression and efficient computation. We prove bounds on the VC dimension of multi-layer neural networks with structured weight matrices and show empirically that our compact parameterization can reduce the sample complexity of learning. When replacing weight layers in fully-connected, convolutional, and recurrent neural networks for image classification and language modeling tasks, our new classes exceed the accuracy of existing compression approaches, and on some tasks even outperform general unstructured layers while using more than 20X fewer parameters.

연구 동기 및 목표

• 딥 러닝에서 고정된 이동 연산자 LDR 행렬의 성능 한계를 극복하기 위해 이동 구조의 엔드 투 엔드 학습을 가능하게 한다.
• 빠른 행렬-벡터 곱셈과 압축을 유지하면서 일반화 능력을 향상시키는 파라미터 효율적인 정형 행렬 클래스를 개발한다.
• LDR 가중치 행렬을 가진 신경망의 샘플 복잡도를 분석하여, 표현 능력이 증가함에도 불구하고 여전히 효율적으로 학습 가능하다는 것을 보여준다.
• 실험적으로 학습 가능한 LDR 행렬이 기존의 정형 압축 방법과 비정형 레이어를 모두 능가하는 정확도를 달성하면서도 뚜렷한 파라미터 감소를 유지함을 입증한다.

제안 방법

• 이동 연산자가 고정되지 않고 학습 과정에서 명시적으로 학습되는 새로운 LDR 행렬 클래스를 제안하여 더 넓은 구조적 인덕티브 바이어스를 가능하게 한다.
• 빠른 정형 행렬 연산을 활용하여, quasi-linear 시간 복잡도를 가지는 효율적인 파이토치 호환 알고리즘을 개발한다.
• LDR 프레임워크를 사용하여 두 개의 희박한 이동 연산자와 저랭크 잔여항으로 행렬을 표현하며, 이 연산자들이 이제 학습 가능한 파라미터가 된다.
• 완전히 연결된, 합성곱, 순환 레이어에 LDR 구조를 적용하여 표준 가중치 행렬을 학습 가능한 정형 대체물로 교체한다.
• LDR 행렬의 조합 성질(예: 채널 병렬 토플리츠 유사 행렬이 더 큰 정형 행렬을 형성함)을 활용하여 레이어 간의 효율성을 유지한다.
• 파라미터 수를 O(n²)에서 O(n)으로 줄이는 파라미터화 기법을 적용하여 고압축을 달성하면서도 모델 용량을 손상시키지 않는다.

실험 결과

연구 질문

• RQ1 LDR 행렬의 이동 연산자를 학습시킬 경우, 고정된 연산자 대비 딥 뉴럴 네트워크에서 더 나은 일반화와 성능을 달성할 수 있는가?
• RQ2 학습 가능한 LDR 가중치 행렬을 가진 신경망의 샘플 복잡도는 비정형 및 이전에 연구된 정형 행렬과 비교해 어떻게 되는가?
• RQ3 학습 가능한 LDR 행렬은 기존의 정형 압축 방법과 비정형 완전 연결 레이어를 모두 능가하는 정확도를 달성하면서도 뚜렷한 파라미터 감소를 유지할 수 있는가?
• RQ4 LDR 가중치 행렬을 가진 신경망의 이론적 용량은 무엇이며, 표현 능력이 증가함에도 불구하고 여전히 학습 가능할까?
• RQ5 LDR 행렬은 조합적 또는 저랭크 기준 대비 더 복잡한 비이동 불변 데이터 구조를 얼마나 잘 모델링할 수 있는가?

주요 결과

• 이미지 분류 작업에서 제안된 학습 가능한 LDR 행렬은 기존의 정형 압축 방법을 능가하며, MNIST-bg-rot 및 CIFAR-10와 같은 여러 벤치마크에서 비정형 완전 연결 레이어보다 높은 정확도를 달성한다.
• 표준 완전 연결 레이어 대비 파라미터 수를 20배 이상 줄였지만, 완전 연결, 합성곱, 순환 아키텍처 전반에서 테스트 정확도를 유지하거나 향상시켰다.
• Wikitext-2에서의 언어 모델링 작업에서 LDR 기반 LSTM은 훨씬 적은 파라미터로 경쟁 가능한 성능을 달성하여 순차적 모델링에서의 효과성을 입증했다.
• 이론적 분석 결과, LDR 가중치 행렬을 가진 다층 네트워크의 VC 차원은 파라미터 수에 대해 준선형적으로 증가함을 보여주며, 이는 모델 클래스가 여전히 데이터로부터 효율적으로 학습 가능하다는 것을 의미한다.
• 실험 결과, 제안된 LDR 파라미터화를 사용할 경우 비정형 가중치 대비 학습의 샘플 복잡도가 감소함을 확인하여 일반화 이점이 뒷받침됨을 입증했다.