[논문 리뷰] DeepTwist: Learning Model Compression via Occasional Weight Distortion

Dongsoo Lee, Parichay Kapoor외 1명|arXiv (Cornell University)|2018. 10. 30.

Speech Recognition and Synthesis참고 문헌 15인용 수 21

한 줄 요약

DeepTwist는 기존 학습 알고리즘을 수정하지 않고도 정규화, 양자화, 저질서 근사화를 향상시키기 위해 훈련 중에 간헐적으로 구조적인 가중치 왜곡을 적용하는 통합 모델 압축 프레임워크이다. 하이퍼파ram터 조정을 최소화하면서도 높은 압축 비율을 달성하며, 미리 훈련된 모델을 초월하는 테스트 퍼플렉서티를 달성함으로써 강력한 정규화 효과를 입증한다.

ABSTRACT

Model compression has been introduced to reduce the required hardware resources while maintaining the model accuracy. Lots of techniques for model compression, such as pruning, quantization, and low-rank approximation, have been suggested along with different inference implementation characteristics. Adopting model compression is, however, still challenging because the design complexity of model compression is rapidly increasing due to additional hyper-parameters and computation overhead in order to achieve a high compression ratio. In this paper, we propose a simple and efficient model compression framework called DeepTwist which distorts weights in an occasional manner without modifying the underlying training algorithms. The ideas of designing weight distortion functions are intuitive and straightforward given formats of compressed weights. We show that our proposed framework improves compression rate significantly for pruning, quantization, and low-rank approximation techniques while the efforts of additional retraining and/or hyper-parameter search are highly reduced. Regularization effects of DeepTwist are also reported.

연구 동기 및 목표

• 맞춤형 훈련 알고리즘과 광범위한 하이퍼파ram터 조정이 필요한 점점 복잡해지는 모델 압축 기법을 해결하기 위해.
• 기존 훈련 절차를 변경하지 않고도 정규화, 양자화, 저질서 근사화와 같은 다수의 압축 방법을 향상시킬 수 있는 통합 프레임워크를 개발하기 위해.
• 높은 압축 비율을 달성하기 위해 일반적으로 수반되는 계산 및 하이퍼파ram터 오버헤드를 줄이기 위해.
• 간헐적인 가중치 왜곡이 정규화 역할을 할 수 있는지 탐색하여 일반화 성능을 향상시키고, 원본 미리 훈련된 모델을 초월하는 성능을 달성할 수 있는지 검토하기 위해.

제안 방법

• DeepTwist는 정해진 훈련 간격마다 간헐적이고 비균일한 가중치 왜곡을 도입하며, 이를 가중치 노이즈 주입의 한 형태로 간주한다.
• 왜곡 함수는 목표 압축 형식(예: 이진, 저질서)에 기반하여 설계되어 기존 압축 기법과의 호환성을 확보한다.
• 기본 훈련 알고리즘에 어떠한 수정도 가하지 않으며, 압축 유형에 관계없이 오직 하나의 추가 하이퍼파ram터(왜곡 주기)만 도입된다.
• 왜곡은 선택적이고 희박하게 적용되어 계산 오버헤드를 최소화하면서도 손실 함수의 더 나은 국소 최소값 탐색을 가능하게 한다.
• 저질서 근사화의 경우, 왜곡 이후에 가중치 행렬에 SVD를 적용하고 랭크를 반복적으로 감소시켜 압축을 극대화하면서 정확도를 유지한다.
• 표준 최적화를 사용한 엔드 투 엔드 훈련을 지원하여 기존 딥러닝 파ip라인에 즉각 통합할 수 있다.

실험 결과

연구 질문

• RQ1 기존 훈련 알고리즘을 수정하지 않고도 간헐적인 가중치 왜곡이 다양한 모델 압축 기법에서 성능 향상에 기여할 수 있는가?
• RQ2 제안된 왜곡 메커니즘이 정규화 역할을 하여, 미리 훈련된 모델을 초월하는 일반화 성능 향상을 이끌 수 있는가?
• RQ3 기존 방법과 비교했을 때 DeepTwist를 사용할 경우 압축에 필요한 하이퍼파ram터 수가 어떻게 변화하는가?
• RQ4 특히 테스트 퍼플렉서티 유지 또는 감소 측면에서 DeepTwist는 저질서 근사화를 얼마나 향상시킬 수 있는가?
• RQ5 왜곡 주기와 초깃값 학습률이 압축 모델의 수렴성과 정확도에 미치는 영향은 어떠한가?

주요 결과

• DeepTwist 기반 SVD 압축은 랭크 r=96에서 프로젝션 레이어 없이 테스트 퍼플렉서티 82.02를 달성하였으며, 이는 사전 훈련된 모델의 83.78보다 낮아, 압축에도 불구하고 성능 향상을 입증하였다.
• r=256일 경우 최적화된 초깃값 학습률 2.0을 사용해 퍼플렉서티 81.75를 기록하였으며, 기존 SVD 방법과 사전 훈련 기준선을 모두 초월하였다.
• 최소 퍼플렉서티에 도달하는 재훈련 시간이 사전 훈련 기간의 약 절반으로 줄어들어 수렴 속도 향상을 보였다.
• 특이값 스펙트럼 분석 결과, 왜곡은 첫 r개 특이값의 증가와 r 이상의 특이값 감소를 유도하여 효과적인 저질서 근사화를 가능하게 했다.
• 고정된 초깃값 학습률 조건에서도 DeepTwist 기반 SVD는 모든 테스트 랭크에서 기존 SVD를 일관되게 능가하여 강건성을 확인하였다.
• 프레임워크는 하이퍼파ram터 조정을 최소화하고 훈련 파이프라인 변경 없이도 높은 압축 비율을 달성하여 실용성과 확장성을 입증하였다.