[논문 리뷰] Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition

Lucas Liebenwein, Alaa Maalouf외 3명|arXiv (Cornell University)|2021. 07. 23.

Sparse and Compressive Sensing Techniques인용 수 17

한 줄 요약

이 논문은 에크하르트–영–미르스키 정리로부터 유도된 계층별 오차 한계를 활용하여 깊이 신경망의 각 계층에 대해 최적의 압축 비율을 자동으로 결정하는 새로운 글로벌 압축 프레임워크인 ALDS를 제안한다. SVD 기반의 저질서 분해를 통해 다중 부분공간을 활용하여 계층 간 최대 오차를 최소화하는 최적화를 수행함으로써, ALDS는 ResNet18(ImageNet)에서 최대 60%의 파라미터 압축을 달성하며, 기존의 저질서 방법들보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We present a novel global compression framework for deep neural networks that automatically analyzes each layer to identify the optimal per-layer compression ratio, while simultaneously achieving the desired overall compression. Our algorithm hinges on the idea of compressing each convolutional (or fully-connected) layer by slicing its channels into multiple groups and decomposing each group via low-rank decomposition. At the core of our algorithm is the derivation of layer-wise error bounds from the Eckart Young Mirsky theorem. We then leverage these bounds to frame the compression problem as an optimization problem where we wish to minimize the maximum compression error across layers and propose an efficient algorithm towards a solution. Our experiments indicate that our method outperforms existing low-rank compression approaches across a wide range of networks and data sets. We believe that our results open up new avenues for future research into the global performance-size trade-offs of modern neural networks. Our code is available at https://github.com/lucaslie/torchprune.

연구 동기 및 목표

• 저질서 신경망 압축에서 계층 간 압축과 정확도의 균형을 이루는 글로벌 과제를 해결하기 위해.
• 국소적 계층 분해와 글로벌 압축 비율을 동시에 최적화하여 최소 예측 오차를 달성하는 프레임워크를 개발하기 위해.
• 에크하르트–영–미르스키 정리를 활용하여 계층별 저질서 분해에 대한 이론적으로 탄탄한 오차 한계를 유도하기 위해.
• 경험적 또는 고정 비율 전략에 의존하지 않고, 자동으로 효율적으로 각 계층의 압축 비율을 선택할 수 있도록 하기 위해.
• 다중 부분공간과 클러스터링 기법이 압축 성능과 효율성에 미치는 영향을 탐색하기 위해.

제안 방법

• 모든 합성곱 또는 완전 연결 계층을 부분공간으로 채널을 그룹화하여 SVD 기반 저질서 분해를 사용해 압축한다.
• 각 계층에서 부분공간 수($k^\ell$)와 질서 수($j^\ell$)를 변수로 설정하는 계층별 분해 전략을 도입하여 압축과 오차 간 트레이드오프를 최적화한다.
• 에크하르트–영–미르스키 정리로부터 스펙트럴 노름을 활용해 최대 상대 오차를 정량화하는 오차 한계를 유도한다.
• 전체 계층 간 최대 오차를 최소화하는 최적화 문제로 압축 문제를 공식화함으로써 효율적인 글로벌 탐색을 가능하게 한다.
• 글로벌 오차 제약 조건 하에 각 계층의 분해 파rameter(부분공간 수 및 질서 수)를 함께 최적화하기 위해 반복 알고리즘을 사용한다.
• 압축 전용 및 온세이트 재학습 설정을 모두 지원하며, 구성 요소 기여도를 검증하기 위한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 신경망 전체 계층에서 최대 오차를 최소화하는 데 최적의 계층별 압축 비율은 무엇인가?
• RQ2 각 계층에서 부분공간 수를 다양하게 허용할 경우, 저질서 압축에서 성능-크기 트레이드오프에 어떤 영향을 미치는가?
• RQ3 오차 기반의 압축 비율 할당 전략이 정확도 유지 측면에서 고정 비율 히우리스틱 전략을 능가할 수 있는가?
• RQ4 다양한 부분공간 클러스터링 기법(예: 채널 분할 대비 투사 클러스터링)이 압축 효율성과 정확도에 어떤 영향을 미치는가?
• RQ5 기본 SVD 분해를 초월해 검색 공간을 확장할 경우 어떤 성능 향상이 달성될 수 있는가?

주요 결과

• ALDS는 ResNet18(ImageNet)에서 최대 60%의 파라미터 압축을 달성하며, 기준 방법보다 세 배 높은 성능을 보이며 정확도 손실는 최소화한다.
• 분석 연구를 통해 각 계층에서 변수 $k^\ell$를 허용할 경우 고정 $k^\ell$ 대비 성능 향상이 뚜렷하게 나타나, 적응적 분해의 중요성을 입증한다.
• 오차 기반 랭크 할당(ALDS-Error)은 모든 테스트 설정에서 고정 압축 비율 히우리스틱(ALDS-Simple)을 능가하는 성능을 보인다.
• 채널 분할 대비 투사 클러스터링(Messi)을 사용할 경우 성능 향상은 미미하지만 계산 비용이 크게 증가하므로 효율성을 고려할 때 채널 분할이 바람직하다.
• ALDS+는 국소적 검색 공간을 다중 분해 기법으로 확장하여 CIFAR10 및 ImageNet 벤치마크에서 뚜렷한 성능 향상을 이룬다.
• 이 프레임워크는 특수 하드웨어나 소프트웨어 지원 없이도 효율적이고 자동화되며 이론적으로 탄탄한 압축을 가능하게 한다.