[논문 리뷰] Post-Training Quantization for Cross-Platform Learned Image Compression

Dailan He, Ziming Yang외 4명|arXiv (Cornell University)|2022. 02. 15.

Advanced Data Compression Techniques인용 수 9

한 줄 요약

이 논문은 학습된 이미지 압축 모델에서 플랫폼 간 일관성 있는 추론을 가능하게 하기 위해 정수 연산만을 강제하고 결정론적 엔트로피 매개변수 이산화를 수행하는 후기 훈련 양자화(PTQ) 프레임워크를 제안한다. 이 방법은 재훈련이나 하드웨어 특화 튜닝 없이도 최신 기술 수준의 학습된 압축 모델을 실용적으로 구현할 수 있도록 하면서도 상태최저 성능(rate-distortion)을 달성한다.

ABSTRACT

It has been witnessed that learned image compression has outperformed conventional image coding techniques and tends to be practical in industrial applications. One of the most critical issues that need to be considered is the non-deterministic calculation, which makes the probability prediction cross-platform inconsistent and frustrates successful decoding. We propose to solve this problem by introducing well-developed post-training quantization and making the model inference integer-arithmetic-only, which is much simpler than presently existing training and fine-tuning based approaches yet still keeps the superior rate-distortion performance of learned image compression. Based on that, we further improve the discretization of the entropy parameters and extend the deterministic inference to fit Gaussian mixture models. With our proposed methods, the current state-of-the-art image compression models can infer in a cross-platform consistent manner, which makes the further development and practice of learned image compression more promising.

연구 동기 및 목표

• 비결정론적 부동소수점 추론으로 인해 발생하는 학습된 이미지 압축에서의 플랫폼 간 불일치 문제를 해결하기 위해.
• 다양한 플랫폼에서 상태최저 수준의 학습된 압축 모델을 결정론적이고 하드웨어 우수성 및 일반 목적의 방식으로 구현 가능하게 하기 위해.
• 부동소수점 산술과 모델 특화 미세조정에 의존하지 않으면서도 최신 기술 수준의 성능을 유지하기 위해.
• 가우스 혼합 모델(GMM)을 사용한 엔트로피 매개변수 모델링을 위한 복잡한 모델로 결정론적 추론을 확장하기 위해.

제안 방법

• 기존에 잘 알려진 후기 훈련 양자화(PTQ)를 적용하여 부동소수점 모델을 정수 연산 전용 추론 네트워크로 변환함으로써 다양한 플랫폼 간 결정론적 행동을 보장한다.
• 엔트로피 매개변수의 양자화 안정성을 향상시키고 PTQ 동안의 성능 저하를 줄이기 위해 오프라인 제약이 있는 재양자화(offline-constrained requantization)를 도입한다.
• 엔트로피 매개변수에 대한 65단계 이산화 방식을 제안하여 부동소수점 연산 없이 정수 산술을 이용한 결정론적 인덱싱을 가능하게 한다.
• 가우스 혼합 모델(GMM) 기반 엔트로피 모델의 경우, 내림값 처리된 평균과 양자화된 가중치를 사용하여 결정론적 CDF 인덱싱 메커니즘을 설계함으로써 일관된 확률 추정을 보장한다.
• 극단적인 값에 대해 Golomb 코딩을 후행 기능으로 통합하여 수치적 안정성과 결정론적 복호화를 유지한다.
• 최소한의 데이터로 표준 PTQ 캘리브레이션을 사용하여 가중치와 활성화를 양자화함으로써 양자화 인식 훈련(QAT)이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 재훈련이나 성능 손실 없이도 후기 훈련 양자화가 학습된 이미지 압축에서 플랫폼 간 불일치를 제거할 수 있는가?
• RQ2 GMM 기반 컨텍스트 모델링을 사용하는 복잡한 모델에 대해 결정론적 엔트로피 매개변수 양자화는 어떻게 달성할 수 있는가?
• RQ3 제안된 방법이 이질적인 플랫폼 간에 정수 연산 전용 추론을 보장하면서도 최신 기술 수준의 비율-왜곡 성능을 유지할 수 있는가?
• RQ4 엔트로피 매개변수의 이산화가 압축 효율성과 복호화 일관성에 미치는 영향는 어떠한가?

주요 결과

• 제안된 PTQ 기반 방법은 공동 자동회귀 및 하이퍼프리오리티 모델링을 포함한 최신 기술 수준의 학습된 이미지 압축 모델에 대해 플랫폼 간 일관성 있는 추론을 달성한다.
• 원래 부동소수점 모델과 거의 동일한 비율-왜곡 성능을 유지하며, 성능 저하가 극미니어다.
• 엔트로피 매개변수의 65단계 이산화로 정수 산술만을 사용한 결정론적 CDF 인덱싱이 가능해져 부동소수점 불일치가 제거된다.
• 내림값 처리된 평균과 양자화된 가중치를 사용하는 결정론적 CDF 인덱싱 메커니즘을 통해 GMM 기반 엔트로피 모델을 지원한다.
• 이 방법은 하드웨어 우수성과 일반 목적의 특성을 지녀 표준 추론 엔진과 널리 배포된 하드웨어와 호환된다.