[논문 리뷰] Structured Transforms for Small-Footprint Deep Learning

Vikas Sindhwani, Tara N. Sainath외 1명|arXiv (Cornell University)|2015. 10. 06.

Speech and Audio Processing참고 문헌 26인용 수 102

한 줄 요약

이 논문은 이동형 장치에 배포하기 위한 효율적이고 컴팩트한 딥러닝을 가능하게 하기 위해 이동 질량이 낮은 구조적 매개변수 행렬을 학습하기 위한 통합 프레임워크를 제안한다. 토플리츠, 바르데모르드, 코시 행렬과 같은 구조적 변환을 활용함으로써 추론과 학습을 가속화하면서도 정확도-컴팩트성-속도의 균형을 뛰어나게 달성한다. 키워드 검색에서 상태최근성에 가까운 성능을 유지하면서 모델 크기를 3.5배 이상 감소시켰다.

ABSTRACT

We consider the task of building compact deep learning pipelines suitable for deployment on storage and power constrained mobile devices. We propose a unified framework to learn a broad family of structured parameter matrices that are characterized by the notion of low displacement rank. Our structured transforms admit fast function and gradient evaluation, and span a rich range of parameter sharing configurations whose statistical modeling capacity can be explicitly tuned along a continuum from structured to unstructured. Experimental results show that these transforms can significantly accelerate inference and forward/backward passes during training, and offer superior accuracy-compactness-speed tradeoffs in comparison to a number of existing techniques. In keyword spotting applications in mobile speech recognition, our methods are much more effective than standard linear low-rank bottleneck layers and nearly retain the performance of state of the art models, while providing more than 3.5-fold compression.

연구 동기 및 목표

• 전력과 스토리지가 제한된 이동형 및 웨어러블 장치에 대규모 딥러닝 모델을 배포하는 데 도전하는 문제를 해결하기 위해.
• 모델 크기를 줄이고 계산을 가속화하는 데 목적이 있는 통합 프레임워크를 개발하기 위해.
• 이동 질량을 통해 구조적에서 비구조적까지 통계 모델링 능력을 명시적으로 조정할 수 있도록 하기 위해.
• 기존 기법들인 저랭크 복합체, 순환 행렬, 패스트푸드 변환보다 정확도, 압축률, 추론 속도에서 뛰어나게 하기 위해.

제안 방법

• 이 프레임워크는 빠른 행렬-벡터 곱셈과 기울기 계산을 가능하게 하는 이동 질량이 낮은 특성을 가진 매개변수 행렬을 학습한다.
• 공통 대수적 프레임워크에 기반하여 토플리츠, 바르데모르드, 코시 행렬 등의 다양한 구조적 행렬 클래스를 일반화한다.
• 각 행렬 클래스에 특화된 빠른 알고리즘을 사용해 기능과 기울기 평가를 효율적으로 수행함으로써, 랭크-r 근사에서 O(mn) 연산을 O(r(m+n))으로 감소시킨다.
• 매개변수 공유가 이동 질량를 통해 명시적으로 제어되어, 매우 구조적인 행렬에서 거의 비구조적인 행렬에 이르기까지 연속적인 스케일링이 가능하다.
• 특히 완전히 연결된 레이어에 통합되어 밀도 있는 행렬을 컴팩트하고 구조적인 대체품으로 교체할 수 있도록 딥러닝 파이프라인에 통합된다.
• 층 전용 학습률을 사용하는 표준 확률적 최적화를 통해 구조적 변환의 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 이동 질량이 낮은 구조적 변환은 이동형 딥러닝에서 표준 저랭크 복합체보다 더 나은 정확도-컴팩트성-속도 균형을 달성할 수 있는가?
• RQ2 토플리츠, 바르데모르드, 코시와 같은 구조적 행렬이 성능을 유지하면서 모델 크기를 얼마나 줄일 수 있는가?
• RQ3 이동 질량는 구조적 변환의 모델링 능력과 일반화 능력을 어떻게 제어하는가?
• RQ4 실제 이동형 애플리케이션에서 특화된 구조적 행렬인 순환 행렬과 패스트푸드보다 구조적 변환이 뛰어난 성능을 낼 수 있는가?

주요 결과

• 이동 질량=1인 토플리츠 유사 구조적 변환은 매개변수 3,348개를 사용해 랭크=16 저랭크 복합체(매개변수 53,568개)보다 키워드 검색에서 더 우수한 성능을 보였으며, 거부률을 10.2%에서 8.2%로 감소시켰다.
• 이동 질량=10일 경우, 거부률이 6.2%로 떨어져 더 큰 랭크=32 저랭크 모델(6.8%)을 초월했다.
• 가장 우수한 구조적 변환 모델은 밀도 있는 모델의 80배 크기이자 기준 모델의 3.6배 크기인 모델에 비해 0.4% 이내의 성능 차이를 보였다.
• 이 방법은 밀도 있는 모델 및 기준 모델과 0.2% 이내의 분류 정확도를 달성했으며, 표준 저랭크 기반 모델보다 훨씬 더 빠른 학습 속도를 기록했다.
• 노이즈 조건(예: 0dB 배블 노이즈가 있는 cafe0 데이터셋)에서도 구조적 변환의 성능 향상은 일관되고 강건하게 유지되었다.