[논문 리뷰] Kaleidoscope: An Efficient, Learnable Representation For All Structured Linear Maps

Tri Dao, Nimit S. Sohoni외 6명|arXiv (Cornell University)|2020. 12. 29.

Neural Networks and Applications참고 문헌 79인용 수 9

한 줄 요약

K-matrices를 활용한 Kaleidoscope는 구조적 선형 사상에 대한 학습 가능한, 파rameter 효율적인 표현으로, 저랭크, 희소, 푸리에 변환과 같은 다양한 구조를 벌리기형 행렬의 곱으로 포괄하며, 거의 최적의 공간 및 시간 복잡도를 달성한다. 이는 엔드 투 엔드 미분 가능 학습을 가능하게 하여 ImageNet에서 최대 5%의 정확도 향상과 Transformer에서 36%의 추론 속도 향상을 이룬다.

ABSTRACT

Modern neural network architectures use structured linear transformations, such as low-rank matrices, sparse matrices, permutations, and the Fourier transform, to improve inference speed and reduce memory usage compared to general linear maps. However, choosing which of the myriad structured transformations to use (and its associated parameterization) is a laborious task that requires trading off speed, space, and accuracy. We consider a different approach: we introduce a family of matrices called kaleidoscope matrices (K-matrices) that provably capture any structured matrix with near-optimal space (parameter) and time (arithmetic operation) complexity. We empirically validate that K-matrices can be automatically learned within end-to-end pipelines to replace hand-crafted procedures, in order to improve model quality. For example, replacing channel shuffles in ShuffleNet improves classification accuracy on ImageNet by up to 5%. K-matrices can also simplify hand-engineered pipelines -- we replace filter bank feature computation in speech data preprocessing with a learnable kaleidoscope layer, resulting in only 0.4% loss in accuracy on the TIMIT speech recognition task. In addition, K-matrices can capture latent structure in models: for a challenging permuted image classification task, a K-matrix based representation of permutations is able to learn the right latent structure and improves accuracy of a downstream convolutional model by over 9%. We provide a practically efficient implementation of our approach, and use K-matrices in a Transformer network to attain 36% faster end-to-end inference speed on a language translation task.

연구 동기 및 목표

• 딥러닝에서 효율성과 정확도를 위해 수동으로 선택하고 설계된 구조적 선형 사상(예: 저랭크, 희소, 푸리에)의 과제를 해결한다.
• 기존의 구조적 행렬 클래스가 가지는 한계를 극복한다. 즉, 비가역적, 비효율적, 또는 다양한 구조를 충분히 표현할 수 없는 한계를 해결한다.
• 모든 구조적 선형 사상을 거의 최적의 파rameter 및 산술 복잡도로 포괄하는 통합적, 가역적, 효율적인 표현을 개발한다.
• 신경망 내의 구조적 요소를 엔드 투 엔드로 학습할 수 있도록 하여 수작업으로 설계된 절차(예: 채널 셔플링, 필터 베이스)를 대체한다.
• K-matrices의 실용적 유용성을 이미지 분류, 음성 인식, Transformer 추론과 같은 실제 작업에서 입증한다.

제안 방법

• 구조적 벌리기형 행렬의 곱으로 구성된 칼라이드로스코프 행렬(K-matrices)을 제안하며, 이는 효율적인 행렬-벡터 곱셈으로 잘 알려져 있다.
• 모든 구조적 선형 사상이 $ s \ll n^2 $ 개의 연산을 가지면, 그 산술 회로 복잡도와 일치하는 총 파rameter 수를 가진 희소 행렬의 곱으로 표현될 수 있다는 이론적 기반을 활용한다.
• 희소 인자 분해에서 희소성 패턴을 찾는 비가역적 탐색을 피하기 위해 벌리기형 행렬에 사전 정의된 고정된 희소성 패턴을 사용한다.
• 전체 K-행렬 파arameter화가 가역적이므로 엔드 투 엔드 역전파를 가능하게 하여 기울기 기반 최적화를 허용한다.
• 벌리기형 구조를 활용한 효율적인 알고리즘을 구현하여 $ O(n \log n) $ 복잡도를 달성한다.
• Transformer를 포함한 신경망에 K-matrices를 학습 가능한 레이어로 통합하여 채널 셔플링이나 FFT 레이어와 같은 고정된 구조적 구성요소를 대체한다.

실험 결과

연구 질문

• RQ1 단일의 통합적, 가역적 파arameter화가 거의 최적의 효율성으로 모든 주요 구조적 선형 사상 클래스를 표현할 수 있는가?
• RQ2 K-matrices가 엔드 투 엔드 딥러닝 파이프라인 내에서 효과적으로 학습되어 수작업으로 설계된 구조적 구성요소보다 모델 성능을 향상시킬 수 있는가?
• RQ3 음성 인식에서 필터 베이스 계산과 같은 전통적인 사전 처리 단계를 K-matrices로 대체할 경우 정확도 손실가 최소화되는 정도는 어느 정도인가?
• RQ4 K-matrices는 복잡한 작업(예: 순열된 이미지 분류)에서 잠재적 구조를 발견하여 후행 모델의 정확도를 향상시킬 수 있는가?
• RQ5 실제 모델(예: Transformer)에서 표준 선형 레이어를 K-matrices로 대체했을 때 실용적인 추론 속도 향상과 메모리 효율성 향상은 어느 정도인가?

주요 결과

• K-matrices는 파arameter 수와 산술 복잡도가 모두 행렬의 산술 회로 복잡도 이론적 하한선과 거의 일치하는, 어떤 구조적 선형 사상도 표현할 수 있다.
• ShuffleNet의 채널 셔플링을 학습 가능한 K-matrix 레이어로 대체하면 추론 비용을 증가시키지 않고 ImageNet의 Top-1 정확도를 최대 5% 향상시킬 수 있다.
• TIMIT 음성 인식에서 수작업으로 설계된 필터 베이스를 학습 가능한 K-matrix 레이어로 대체하면 정확도 손실이 오직 0.4%에 불과하지만, 파이프라인 간소화 효과를 얻을 수 있다.
• 도전적인 순열된 이미지 분류 작업에서 K-matrix 기반의 순열 표현은 후행 컨볼루션 모델의 정확도를 9% 이상 향상시킨다.
• Transformer 모델에 K-matrices를 통합하면 언어 번역 작업에서 엔드 투 엔드 추론 속도가 36% 빨라지며, 정확도 손실은 유의미하지 않다.
• K-matrix 표현은 효율적이고 가역적인 학습을 가능하게 하여, 훈련 중 히ュ리스틱 또는 비용이 많이 드는 희소성 패턴 탐색의 필요성을 제거한다.