[논문 리뷰] Estimating the Resize Parameter in End-to-end Learned Image Compression

Li–Heng Chen, Christos G. Bampis외 3명|arXiv (Cornell University)|2022. 04. 26.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 핵심 압축 모델을 수정하지 않고도 엔드 투 엔드로 학습된 이미지 압축에서 비율-왜곡 성능을 향상시키기 위해 최적의 리사이징 요소를 동시 학습하여 추정하는 학습 가능하고 콘텐츠에 적응하는 리사이징 프레임워크를 제안한다. 경량 보조 네트워크(ResizeParamNet)에 의해 제어되는 미분 가능 다운샘플링 및 업샘플링 레이어를 삽입함으로써, 최신의 인지적 코덱보다 최대 10%의 Bjøntegaard-Delta 비트레이트 향상을 달성한다.

ABSTRACT

We describe a search-free resizing framework that can further improve the rate-distortion tradeoff of recent learned image compression models. Our approach is simple: compose a pair of differentiable downsampling/upsampling layers that sandwich a neural compression model. To determine resize factors for different inputs, we utilize another neural network jointly trained with the compression model, with the end goal of minimizing the rate-distortion objective. Our results suggest that "compression friendly" downsampled representations can be quickly determined during encoding by using an auxiliary network and differentiable image warping. By conducting extensive experimental tests on existing deep image compression models, we show results that our new resizing parameter estimation framework can provide Bjøntegaard-Delta rate (BD-rate) improvement of about 10% against leading perceptual quality engines. We also carried out a subjective quality study, the results of which show that our new approach yields favorable compressed images. To facilitate reproducible research in this direction, the implementation used in this paper is being made freely available online at: https://github.com/treammm/ResizeCompression.

연구 동기 및 목표

• 학습된 이미지 압축에서 최적의 리사이징 요소를 위한 브루트 포스 검색의 비효율성을 해결하기 위해.
• 핵심 압축 아키텍처를 변경하지 않고 딥 이미지 압축 모델의 비율-왜곡 트레이드오프를 향상시키기 위해.
• 경량 신경망을 사용하여 콘텐츠에 적응하는 리사이징 파라미터를 추정하는 일반화 가능하고 엔드 투 엔드로 훈련 가능한 프레임워크를 개발하기 위해.
• 객관적 지표와 주관적 품질 연구를 통해 제안된 방법의 인지적 관련성을 검증하기 위해.

제안 방법

• 기존의 압축 모델의 전후에 공유된 리사이징 요소 M를 가진 미분 가능한 다운샘플링 및 업샘플링 레이어를 도입한다.
• 각 입력 이미지에 대해 콘텐츠에 적응하는 방식으로 최적의 M을 예측하기 위해 보조 신경망인 ResizeParamNet을 훈련시킨다.
• 비율-왜곡 목적함수를 사용하여 압축 모델과 ResizeParamNet을 함께 엔드 투 엔드로 최적화하며, M은 비트스트림에 포함된다.
• 훈련 중 리사이징 연산을 통해 역전파를 가능하게 하기 위해 미분 가능한 이미지 워핑을 사용한다.
• 핵심 아키텍처를 변경하지 않고 기존의 학습된 압축 모델에 플러그인 방식의 '부스터'로 통합한다.
• 최소한의 오버헤드로 비트스트림에 추정된 M 값을 신호로 보내어 디코더에서 복원 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망이 학습된 이미지 압축에서 비율-왜곡 성능을 향상시키기 위해 콘텐츠에 적응하는 리사이징 요소를 효과적으로 추정할 수 있는가?
• RQ2 고정 해상도 기반 모델과 비교해 볼 때 제안된 프레임워크가 객관적 지표와 인지적 품질 향상에서 측정 가능한 성과를 달성하는가?
• RQ3 객관적 및 주관적 평가에서 제안된 방법의 성능이 최신의 학습된 압축 모델과 비교해 어떻게 되는가?
• RQ4 기존의 이미지 품질 평가 모델이 적응형 리사이징 환경에서 인간의 인지와 얼마나 관련이 있는가?

주요 결과

• 제안된 프레임워크는 최첨단 인지적 이미지 압축 모델보다 평균적으로 10%의 Bjøntegaard-Delta 비트레이트 향상을 달성한다.
• 주관적 품질 연구 결과, 저비트레이트에서 제안된 방법으로 생성된 압축 이미지가 인간 관찰자에 의해 더 선호됨을 확인했다.
• Ballé18-Hyper를 포함한 여러 딥 압축 모델에 대해 잘 일반화되며, 핵심 아키텍처를 변경하지 않고 플러그인 방식의 향상 기능으로 작동한다.
• VIF와 VMAF가 인간 인지와 가장 강한 상관관계를 보였고, PSNR 기반 지표는 성능이 열 劣하므로 제안된 접근의 인지적 관련성을 확인했다.
• 리사이징 과정에서 눈에 띄는 아티팩트(예: 흐릿한 로고)가 발생할 경우 실패 케이스가 관찰되어 고대비 또는 텍스트 기반 콘텐츠 처리에 한계가 있음을 시사했다.
• 2AFC 점수 분석을 통해 VIF와 VMAF가 인간 판단을 강력하게 예측하는 지표임을 확인했으며, 이론적 오라클 성능에 매우 가까운 점수를 기록했다.