[논문 리뷰] Model compression as constrained optimization, with application to neural nets. Part I: general framework

Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|2017. 07. 05.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 26

한 줄 요약

이 논문은 신경망 모델 압축을 위한 일반적인 제약 최적화 프레임워크를 제안하며, 양자화, 자르기, 낮은 질서 분해를 통합적으로 다룰 수 있도록 한다. 학습-압축(LC) 알고리즘을 도입하여 압축되지 않은 모델 학습과 보조 라그랑주 방법을 통한 압축을 번갈아 수행함으로써, 표준 가정 하에 국소적으로 최적의 압축 모델로 수렴함을 보장한다.

ABSTRACT

Compressing neural nets is an active research problem, given the large size of state-of-the-art nets for tasks such as object recognition, and the computational limits imposed by mobile devices. We give a general formulation of model compression as constrained optimization. This includes many types of compression: quantization, low-rank decomposition, pruning, lossless compression and others. Then, we give a general algorithm to optimize this nonconvex problem based on the augmented Lagrangian and alternating optimization. This results in a "learning-compression" algorithm, which alternates a learning step of the uncompressed model, independent of the compression type, with a compression step of the model parameters, independent of the learning task. This simple, efficient algorithm is guaranteed to find the best compressed model for the task in a local sense under standard assumptions. We present separately in several companion papers the development of this general framework into specific algorithms for model compression based on quantization, pruning and other variations, including experimental results on compressing neural nets and other models.

연구 동기 및 목표

• 모바일 기기 및 임베디드 시스템과 같은 자원이 제한된 장치에 큰 정확도를 가진 신경망 모델을 구현하는 데 도전하는 데 목적을 두며.
• 양자화, 자르기, 낮은 질서 분해와 같은 다양한 모델 압축 기법들을 단일 수학적 프레임워크로 통합하는 데 목적을 두며.
• 학습과 압축 단계를 번갈아 수행하는 일반 목적의 알고리즘을 개발하여 국소적으로 최적의 압축 모델로 수렴함을 보장하는 데 목적을 두며.
• 특정 압축 방법에 의존하지 않고도 제안된 알고리즘의 수렴성에 대한 이론적 보장을 제공하는 데 목적을 두며.
• 보조 논문들에서 다양한 압축 형태에 맞는 전용 알고리즘을 유도하기 위한 기반을 마련하는 데 목적을 두며.

제안 방법

• 압축 제약(예: 가중치 양자화, 흐าก함)을 최적화 프레임워크에 통합하여 모델 압축을 제약이 있는 최적화 문제로 공식화한다.
• 비볼록이고 제약이 있는 최적화 문제를 다루기 위해 보조 라그랑주 방법을 사용하며, 학습과 압축 단계 간의 교차 최소화를 가능하게 한다.
• 학습 단계(압축되지 않은 모델 학습)와 압축 단계(제약 하에 매개변수 변환)를 분리하는 학습-압축(LC) 알고리즘을 도입한다.
• 보조 라그랑주 함수를 최소화하기 위해 교차 최적화를 적용하며, 학습 단계는 표준 학습(예: SGD)을 사용하고, 압축 단계는 사영 또는 매핑을 통해 제약을 강제한다.
• 학습 단계에서 Robbins-Monro 단계 크기를 사용하여 확률적 경사 하강 노이즈 하에서 정류점으로의 수렴을 보장한다.
• 압축 메커니즘을 블랙박스로 간주하여, 핵심 알고리즘을 수정하지 않고도 다양한 압축 기법을 즉시 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 양자화, 자르기, 낮은 질서 분해와 같은 다양한 모델 압축 기법들을 단일 최적화 공식화로 통합할 수 있는 프레임워크를 개발할 수 있는가?
• RQ2 학습과 압축 단계를 어떻게 번갈아 수행할 수 있을까? 이는 국소적으로 최적의 압축 모델로 수렴함을 보장하는가?
• RQ3 비볼록이고 제약이 있는 최적화 하에서 학습-압축 알고리즘의 수렴성을 보장하는 이론적 조건은 무엇인가?
• RQ4 압축 방법이 최적화 문제의 제약로 표현될 수만 있다면, 제안된 프레임워크는 어떤 압축 방법에도 적용 가능한가?
• RQ5 기존의 특수 목적에 맞춘 압축 방법에 비해 LC 알고리즘은 최적성과 수렴 보장 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 학습-압축 알고리즘은 표준 가정 하에, 즉 Robbins-Monro 단계 크기와 유한한 경사 하강 노이즈 조건을 만족할 경우 국소적으로 최적의 압축 모델로 수렴함이 보장된다.
• 이 프레임워크는 제약 최적화 문제에 압축 기법을 표현함으로써 여러 압축 기법을 통합하며, 단일 알고리즘 파이프라인을 가능하게 한다.
• 알고리즘은 압축되지 않은 모델 학습과 압축 적용을 번갈아 수행하며, 압축 단계는 학습 작업과 독립적이며, 학습 단계는 압축 유형과 독립적이다.
• 증분 경사 방법과 확률적 오차 분석을 통해 이론적 수렴성을 확립하였으며, 이는 알고리즘이 보조 라그랑주 함수의 정류점으로 수렴함을 보여준다.
• 학습 단계는 확률적 경사 하강법을 사용하더라도, 노이즈가 표준 조건을 만족하고 단계 크기가 Robbins-Monro일 경우에도 이론적 수렴성이 유지된다.
• 이 프레임워크는 다양한 압축 메커니즘(예: 양자화, 자르기)의 즉시 적용을 가능하게 하며, 별도의 보조 논문에서 그 구현과 실증 평가가 상세히 기술되어 있다.