[논문 리뷰] Soft-to-Hard Vector Quantization for End-to-End Learned Compression of Images and Neural Networks.

Eirikur Agustsson, Fabian Mentzer외 5명|arXiv (Cornell University)|2017. 04. 03.

Image and Signal Denoising Methods참고 문헌 22인용 수 24

한 줄 요약

이 논문은 기울기 전파를 통해 허용 가능한 연속적인 소프트 양자화에서 이산적인 하드 양자화로 점차적으로 온도를 낮추는 소프트-하드 벡터 양자화 방법을 제안한다. 이는 이미지 및 신경망 압축을 위한 엔드 투 엔드 훈련을 가능하게 하며, 엔트로피와 양자화의 미분 가능한 유연성으로 인해 압축 가능하고 컴팩트한 표현을 학습함으로써 이미지 압축과 모델 압축에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work we present a new approach to learn compressible representations in deep architectures with an end-to-end training strategy. Our method is based on a soft relaxation of quantization and entropy, which we anneal to their discrete counterparts throughout training. We showcase this method for two challenging applications: Image compression and neural network compression. While these tasks have typically been approached with different methods, our soft-to-hard quantization approach gives state-of-the-art results for both.

연구 동기 및 목표

• 딥 네트워크 내에서 압축 가능한 표현을 학습하기 위한 통합적이고 엔드 투 엔드로 훈련 가능한 방법을 개발하는 것.
• 백프로파게이션을 통해 이산 벡터 양자화 레이어를 훈련하는 데 도전하는 문제를 소프트 유연성으로 해결하는 것.
• 단일 공유 훈련 전략을 사용하여 이미지 압축 및 신경망 압축 작업에서의 압축 성능을 향상시키는 것.
• 동일한 방법이 두 가지 서로 관련된 압축 응용 분야에서 모두 최신 기술 수준의 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 방법은 벡터 양자화와 엔트로피의 소프트 유연성으로 구현되며, 백프로파게이션 동안 기울기가 유입되도록 한다.
• 훈련 중에 소프트 유연성은 일정한 스케줄에 따라 하드 이산 양자화로 점차적으로 온도를 낮추는 방식으로 안내된다.
• 소프트 양자화는 코드북 벡터에 대한 미분 가능한 소프트 할당을 통해 구현된다.
• 훈련 중에 코드북 인덱스의 엔트로피는 유연한 대체 함수를 사용해 근사된다.
• 이 방법은 특징 인코더와 양자화 모듈을 동시에 최적화할 수 있도록 한다.
• 공통된 구성 요소를 공유하여 이미지 압축과 신경망 가중치 양자화에 모두 적용된다.

실험 결과

연구 질문

• RQ1 양자화와 엔트로피의 소프트 유연성은 이산 압축 모듈의 엔드 투 엔드 훈련을 가능하게 하는가?
• RQ2 소프트-하드 온도 조절 전략은 이미지 및 신경망 압축에서 성능 향상에 기여하는가?
• RQ3 단일 방법이 이미지 및 모델 압축 작업 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 이산 양자화의 미분 가능한 유연성은 압축의 품질과 비율-왜곡 균형에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 엔드 투 엔드 훈련을 통해 이미지 압축에서 최신 기술 수준의 비율-왜곡 성능을 달성한다.
• 이 방법은 신경망 가중치의 압축 효율성을 향상시켜 낮은 비트 레이트의 표현으로도 고정밀도 모델을 가능하게 한다.
• 소프트-하드 온도 조절 전략은 이산 양자화 레이어를 통한 효과적인 백프로파게이션을 가능하게 한다.
• 이 방법은 다양한 압축 작업에 일반화되며, 이미지 압축과 모델 압축 모두에서 일관된 성능 향상을 보인다.
• 이전의 이미지 압축과 모델 압축에 대해 별도의 훈련 전략을 사용한 방법들보다 성능이 뛰어나다.
• 결과는 양자화와 엔트로피의 미분 가능한 유연성이 최소한의 아키텍처 수정으로도 고품질의 학습 가능한 압축을 가능하게 한다는 것을 보여준다.