[논문 리뷰] End-to-End Learned Image Compression with Quantized Weights and Activations

Heming Sun, Lu Yu외 1명|arXiv (Cornell University)|2021. 11. 17.

Video Coding and Compression Technologies참고 문헌 55인용 수 5

한 줄 요약

이 논문은 가중치와 활성화 모두에 8비트 고정점 양자화를 적용한 엔드 투 엔드 학습된 이미지 압축 프레임워크를 제안하며, 메모리 사용량을 75% 감소시키면서도 BPG를 능가하는 MS-SSIM 성능을 달성한다. 비선형 가중치 양자화를 채널 단위로 적용하고 클리핑 미세조정 기법을 도입하며, 동적 범위 최적화된 활성화 코드북과 평균 제거 양자화를 통해 양자화 오차와 비트 깊이 비용을 최소화한다.

ABSTRACT

End-to-end Learned image compression (LIC) has reached the traditional hand-crafted methods such as BPG (HEVC intra) in terms of the coding gain. However, the large network size prohibits the usage of LIC on resource-limited embedded systems. This paper reduces the network complexity by quantizing both weights and activations. 1) For the weight quantization, we study different kinds of grouping and quantization scheme at first. A channel-wise non-linear quantization scheme is determined based on the coding gain analysis. After that, we propose a fine tuning scheme to clip the weights within a certain range so that the quantization error can be reduced. 2) For the activation quantization, we first propose multiple non-linear quantization codebooks with different maximum dynamic ranges. By selecting an optimal one through a multiplexer, the quantization range can be saturated to the greatest extent. In addition, we also exploit the mean-removed quantization for the analysis transform outputs in order to reduce the bit-width cost for the specific channel with the large non-zero mean. By quantizing each weight and activation element from 32-bit floating point to 8-bit fixed point, the memory cost for both weight and activation can be reduced by 75% with negligible coding performance loss. As a result, our quantized LIC can still outperform BPG in terms of MS-SSIM. To our best knowledge, this is the first work to give a complete analysis on the coding gain and the memory cost for a quantized LIC network, which validates the feasibility of the hardware implementation.

연구 동기 및 목표

• 자원 제한된 임베디드 시스템에 엔드 투 엔드 학습된 이미지 압축(LIC)을 실용적으로 구현할 수 있도록 메모리 및 계산 비용을 줄이기 위해.
• 하드웨어 구현을 고려할 때, 양자화된 LIC 네트워크에서 코딩 성능 향상과 메모리 비용 간의 상호 교환 관계를 분석하기 위해.
• 높은 압축 성능을 유지하면서 가중치와 활성화에 대한 완전한 양자화 전략을 개발하기 위해.
• 새로운 양자화 기법과 미세조정 기법을 통해 양자화 오차와 비트 너비 비용을 최소화하기 위해.

제안 방법

• 코딩 성능 분석을 통해 왜곡을 최소화하기 위해 최적화된 채널 단위 비선형 가중치 양자화 기법을 제안한다.
• 양자화 이후의 양자화 오차를 줄이기 위해 가중치 범위를 제한하는 가중치 클리핑 미세조정 기법을 도입한다.
• 다양한 동적 범위를 가진 네 가지 비선형 활성화 코드북을 설계하고, 멀티플렉서를 통해 정밀도를 극대화하기 위해 선택한다.
• 분석 변환 출력에 대해 평균 제거 양자화를 적용하여 평균이 큰 채널의 비트 깊이 요구량을 줄인다.
• 가중치와 활성화를 모두 32비트 부동소수점에서 8비트 고정소수점으로 양자화하여 메모리 비용을 75% 감소시킨다.
• 모든 레이어(해당 경로 포함)에 양자화를 적용한 하이퍼프리어 기반 네트워크 아키텍처(hyperprior-5)를 베이스라인으로 사용한다.

실험 결과

연구 질문

• RQ1 양자화된 LIC 네트워크에서 가중치의 최적의 그룹화 및 양자화 기법은 무엇인가, 이를 통해 코딩 성능을 극대화할 수 있는가?
• RQ2 압축 성능을 희생시키지 않고 저정밀도 가중치 및 활성화 표현에서의 양자화 오차를 어떻게 최소화할 수 있는가?
• RQ3 동적 범위 적응형 활성화 양자화 기법은 학습된 이미지 압축의 효율성을 향상시킬 수 있는가?
• RQ4 평균 제거 양자화 기법은 분석 변환에서 비트 깊이 요구량과 전체 메모리 비용에 어떤 영향을 미치는가?
• RQ5 8비트 고정점 양자화는 메모리 및 계산 비용을 줄이면서도 코딩 성능을 어느 정도 유지할 수 있는가?

주요 결과

• 제안된 양자화된 LIC는 8비트 양자화에도 불구하고 BPG를 능가하는 MS-SSIM 성능을 달성하여 더 뛰어난 시각적 품질을 보여준다.
• 전체 정밀도 모델 대비 가중치 및 활성화의 메모리 소비량이 75% 감소하였으며, [18]에 비해 가중치 비용은 4.48% 높지만 디코더 비용은 21% 낮다.
• 가중치 클리핑 미세조정 기법이 양자화 오차를 크게 줄여주며, 양자화 이후 코딩 성능 향상에 기여한다.
• 다양한 동적 범위를 가진 네 가지 비선형 활성화 코드북을 사용하고 동적 범위 선택 기법을 적용함으로써 양자화 범위의 포화를 더 잘 달성하여 정밀도를 향상시킨다.
• 평균 제거 양자화 기법은 평균이 큰 채널의 비트 깊이 요구량을 줄여 활성화 메모리 비용을 낮추는 데 기여한다.
• 곱셈과 덧셈의 에너지 소비량이 각각 3.7pJ 및 0.9pJ(32비트 FP)에서 0.2pJ 및 0.03pJ(8비트 정수)로 감소하여 뚜렷한 계산 비용 절감 효과를 보였다.