[논문 리뷰] Soft-to-Hard Vector Quantization for End-to-End Learning Compressible Representations

Eirikur Agustsson, Fabian Mentzer외 5명|arXiv (Cornell University)|2017. 04. 03.

Advanced Image Processing Techniques참고 문헌 37인용 수 262

한 줄 요약

본 논문은 엔드 투 엔드 학습으로 학습 가능한 특징 표현 및 모델을 학습하기 위한 소프트-투-하드 벡터 양자화 프레임워크를 도입하여, 이미지 및 DNN 압축에서 경쟁력 있는 결과를 달성한다.

ABSTRACT

We present a new approach to learn compressible representations in deep architectures with an end-to-end training strategy. Our method is based on a soft (continuous) relaxation of quantization and entropy, which we anneal to their discrete counterparts throughout training. We showcase this method for two challenging applications: Image compression and neural network compression. While these tasks have typically been approached with different methods, our soft-to-hard quantization approach gives results competitive with the state-of-the-art for both.

연구 동기 및 목표

• 심층 네트워크 및 데이터 유형에 대해 압축 가능한 표현 학습에 대한 동기를 부여한다.
• 모델 파라미터, 양자화 수준, 심볼 스트림의 엔트로피를 함께 최적화한다.
• 네트워크의 특징과 전체 모델의 압축을 위한 통합 프레임워크를 제공한다.

제안 방법

• 연속적인 양자화 및 엔트로피의 소프트(연속) 완화를 도입하고 부드러운 할당에서 하드 할당으로의 어닐링 스케줄을 적용한다.
• 인코더 E를 학습된 코드북에서 가장 가까운 센터를 선택하는 것으로 모델링하고; 디코더 D는 심볼 인덱스에서 재구성한다.
• differentiable한 소프트 히스토그램과 실제 엔트로피를 상한하는 소프트 엔트로피 손실을 통해 엔트로피를 추정한다.
• 소프트 양자화를 하드 할당으로 어닐링하여 엔드-투-엔드 미분 가능 학습을 가능하게 한다.
• 병목 통계의 포착을 개선하기 위해 스칼라가 아니라 벡터 양자화를 적용한다.
• 압축 자동인코더를 통한 이미지 압축과 DNN 모델 압축( CIFAR-10의 ResNet )에 대한 엔드-투-엔드 학습을 입증한다.

실험 결과

연구 질문

• RQ1 soft-to-hard 벡터 양자화를 딥 네트워크에서 왜곡과 비트율의 합(D + βR)을 최소화하도록 엔드-투-엔드로 학습할 수 있는가?
• RQ2 양자화 수준을 가중치와 함께 공동으로 학습하는 것이 이미지 데이터와 모델 파라미터 모두의 압축 가능성을 향상시키는가?
• RQ3 학습된 압축 시나리오에서 벡터 양자화와 스칼라 양자화의 차이는 무엇인가?
• RQ4 강한 모수적 가정 없이 히스토그램 기반 엔트로피 추정이 경쟁력 있는 결과를 낳을 수 있는가?

주요 결과

방법	정확도	압축
원본 모델	92.6	1.00
가지치기 + ft. + 인덱스 코딩 + H. 코딩 [12]	92.6	4.52
가지치기 + ft. + k-평균 + ft. + I.C. + H.C. [11]	92.6	18.25
가지치기 + ft. + Hessian-weighted k-means + ft. + I.C. + H.C.	92.7	20.51
가지치기 + ft. + Uniform quantization + ft. + I.C. + H.C.	92.7	22.17
가지치기 + ft. + Iterative ECSQ + ft. + I.C. + H.C.	92.7	21.01
소프트-투-하드 어닐링 + ft. + H. 코딩 (ours)	92.1	19.15
소프트-투-하드 어닐링 + ft. + A. 코딩 (ours)	92.1	20.15

• 이미지 압축과 DNN 모델 압축 모두에서 최첨단 방법과 경쟁력 있는 성능을 달성한다.
• 소프트-투-하드 어닐링이 있는 벡터 양자화는 스칼라 양자화에 비해 비트율-왜곡(trade-off)을 개선한다.
• 소프트 히스토그램에 기반한 엔트로피 손실은 압축 가능성에 대한 미분 가능한 가이드를 제공한다.
• 32-층 ResNet으로 CIFAR-10에서 약 19–20× 압축을 달성하되 정확도 손실은 최소화된다.
• 이미지 압축의 경우, 고압축 비율에서 SHA가 JPEG/JPEG 2000을 능가하고 여러 데이터셋에서 BPG와 경쟁력 있다.