[논문 리뷰] Deformable Butterfly: A Highly Structured and Sparse Linear Transform

Rui Lin, Jie Ran외 3명|arXiv (Cornell University)|2022. 03. 25.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 기존의 버터플라이 행렬을 일반화하여 임의의 입력-출력 차원을 지원하는 새로운 구조적이고 희소한 선형 변환기인 Deformable Butterfly (DeBut)를 소개한다. 이는 효율적이고 학습 가능한, 계층적인 선형 매핑을 가능하게 하며, 높은 모델 압축률과 낮은 추론 복잡도를 유지하면서도 정확도를 확보한다. DeBut는 저질서 분해 및 기존의 구조적 변환보다도 파rameter 효율성과 성능 면에서 뛰어나다.

ABSTRACT

We introduce a new kind of linear transform named Deformable Butterfly (DeBut) that generalizes the conventional butterfly matrices and can be adapted to various input-output dimensions. It inherits the fine-to-coarse-grained learnable hierarchy of traditional butterflies and when deployed to neural networks, the prominent structures and sparsity in a DeBut layer constitutes a new way for network compression. We apply DeBut as a drop-in replacement of standard fully connected and convolutional layers, and demonstrate its superiority in homogenizing a neural network and rendering it favorable properties such as light weight and low inference complexity, without compromising accuracy. The natural complexity-accuracy tradeoff arising from the myriad deformations of a DeBut layer also opens up new rooms for analytical and practical research. The codes and Appendix are publicly available at: https://github.com/ruilin0212/DeBut.

연구 동기 및 목표

• 기존의 구조적 선형 변환의 한계, 즉 고정된 2의 거듭제곱 차원과 대규모 네트워크에서의 낮은 확장성 문제를 해결하기 위해.
• 변동 가능한 입력-출력 차원을 지원하고 효과적인 신경망 압축을 가능하게 하는 학습 가능한, 구조적인, 희소한 선형 변환기를 개발하기 위해.
• 완전 연결 및 컨volution 레이어를 하나의 계층적이고 효율적인 변환 메커니즘으로 통합하기 위해.
• 양자화, 프루닝 및 저질서 분해와 수직적인 새로운 네트워크 압축 패러다임을 제공하기 위해.
• 학습 및 추론 오버헤드를 줄여 엣지 AI 환경에서 실용적인 효율적 선형 레이어의 구현을 가능하게 하기 위해.

제안 방법

• DeBut는 비정방형이고 변형 가능한 인자 행렬을 허용함으로써 기존의 버터플라이 행렬을 일반화하여 임의의 입력 및 출력 차원에 적응할 수 있도록 한다.
• 변동 가능한 중간 차원을 가진 희소하고 학습 가능한 버터플라이 인자들의 계층적 체인을 활용하여, 복잡성과 표현 능력 간의 트레이드오���을 위한 볼링(bulging) 및 단조적(monotonic) 구성 모두를 가능하게 한다.
• 재귀적인 희소 행렬 곱셈을 통해 세밀한 차원에서 거대한 차원으로의 특징 매핑을 가능하게 하여 CNN의 수용장역행동을 모방한다.
• 밀도 블록을 제어하여 표현 능력과 희소성의 균형을 조절할 수 있는 구조적이고 희소한 행렬의 곱 체인을 사용한다.
• DeBut는 FC 및 CONV 레이어의 즉각적인 대체로 설계되어 아키텍처 변경 없이도 적용 가능하다.
• 재귀적이고 버터플라이 유사한 구조 덕분에 빠른 행렬-벡터 곱셈 기법을 활용하여 낮은 추론 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 2의 거듭제곱 제약을 초월하여 임의의 입력 및 출력 차원을 지원하는 구조적이고 희소한 선형 변환기를 설계할 수 있는가?
• RQ2 DeBut의 계층적이고 변형 가능한 구조는 딥 네트워크에서 모델 정확도와 파rameter 효율성에 어떤 영향을 미치는가?
• RQ3 파rameter 수와 정확도 측면에서 DeBut은 저질서 분해 및 기타 압축 기법보다 어느 정도 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 성능을 손상시키지 않고 DeBut이 FC 및 CONV 레이어를 하나의 효율적인 변환 메커니즘으로 통합할 수 있는가?
• RQ5 볼링과 단조적 DeBut 체인 간의 선택은 모델 안정성, 성능 및 압축 효율성에 어떤 영향을 미치는가?

주요 결과

• DeBut는 CIFAR-10에서 VGG-16-BN에 대해 2.43M 파arameter를 기록하며, 더 높은 정확도(93.71% 대 93.36%)를 기록한 터커-2(3.21M 파arameter)를 능가한다.
• DeBut 레이어는 파arameter 수와 추론 복잡도를 줄이면서도 높은 정확도를 유지하여 엣지 AI 배포에 적합하다.
• DeBut는 양자화 및 프루닝과 수직적이므로, 이들과 조합할 경우 추가적인 압축이 가능하다.
• DeBut는 저질서 구조에 의존하지 않으며, 모든 행렬 인자와 전체 곱이 전_RANK이므로, 저질서 분해 방법과 구별된다.
• DeBut의 계층적이고 점진적인 특성 덕분에 향후 최적화를 위한 희망적인 방향으로 파이프라인 기반 추론 속도 향상이 가능하다.
• 학습 및 추론 복잡도가 중요한 대규모 네트워크에서 DeBut는 기존의 빠른 변환 기법들을 능가하는 뛰어난 성능과 효율성을 보였다.