[논문 리뷰] Learned Variable-Rate Multi-Frequency Image Compression using Modulated Generalized Octave Convolution

Jianping Lin, Mohammad Akbari외 8명|arXiv (Cornell University)|2020. 09. 25.

Advanced Data Compression Techniques참고 문헌 8인용 수 4

한 줄 요약

이 논문은 임의의 비트레이트 범위에서 재학습 없이도 작동하는 변수 비트레이트 이미지 압축 프레임워크를 제안한다. 이는 조절 가능한 일반화 옥타브 컨볼루션(M-GoConv)을 사용하여 잠재 특징을 고주파 및 저주파 성분으로 분리함으로써 다중 스케일 표현을 효율적으로 구현한다. 라그랑주 매개변수 λ에 따라 네트워크를 조절함으로써, 단지 세 개의 모델만으로도 넓은 비트레이트 범위에서 높은 비트레이트-왜곡 성능을 달성하며, VVC보다 Y-MS-SSIM에서 뛰어난 성능을 보이고 BPG와 동등한 YUV-PSNR 성능을 기록한다.

ABSTRACT

In this proposal, we design a learned multi-frequency image compression approach that uses generalized octave convolutions to factorize the latent representations into high-frequency (HF) and low-frequency (LF) components, and the LF components have lower resolution than HF components, which can improve the rate-distortion performance, similar to wavelet transform. Moreover, compared to the original octave convolution, the proposed generalized octave convolution (GoConv) and octave transposed-convolution (GoTConv) with internal activation layers preserve more spatial structure of the information, and enable more effective filtering between the HF and LF components, which further improve the performance. In addition, we develop a variable-rate scheme using the Lagrangian parameter to modulate all the internal feature maps in the auto-encoder, which allows the scheme to achieve the large bitrate range of the JPEG AI with only three models. Experiments show that the proposed scheme achieves much better Y MS-SSIM than VVC. In terms of YUV PSNR, our scheme is very similar to HEVC.

연구 동기 및 목표

• 재학습 없이도 넓은 비트레이트 범위에서 변수 비트레이트를 지원하는 딥러닝 기반 이미지 압축 방법을 개발하는 것.
• 일반화 옥타브 컨볼루션을 활용해 잠재 표현을 고주파 및 저주파 성분으로 분해함으로써 비트레이트-왜곡 성능을 향상시키는 것.
• 단일 라그랑주 매개변수 λ를 통해 내부 특징맵을 조절함으로써 정확한 비트레이트 제어를 가능하게 하고, 단일 모델을 기반으로 효율적인 엔드 투 엔드 학습을 구현하는 것.
• BPG 및 VVC와 같은 최첨단 코덱과 비교해 높은 성능을 달성하면서도, 인코딩/디코딩 지연을 낮게 유지하는 것.

제안 방법

• 모듈러라이즈드 일반화 옥타브 컨볼루션(M-GoConv)과 역컨볼루션(M-GoTConv) 레이어를 활용하여 특징맵을 고주파(HF) 및 저주파(LF) 성분으로 분할하며, LF 특징맵은 공간 해상도가 절반으로 감소한다.
• 내부 특징맵은 라그랑주 매개변수 λ를 입력으로 받아 채널별 조절 요소를 생성하는 학습 가능한 스케일링 네트워크를 통해 조정되며, 이는 비트레이트 제어를 가능하게 한다.
• 모델은 단일 파라미터 세트를 공유하는 공통 아키텍처를 사용하며, λ를 통해 모든 내부 컨볼루션을 조절함으로써 변수 비트레이트 동작을 가능하게 한다.
• 압축 성능 최적화를 위해 다중 비트레이트 R-D 목적함수를 사용하며, 이는 비트레이트와 왜곡의 가중합을 최소화하는 방식이다. 왜곡은 0.9×RGB-MSE + 0.1×(1−Y-MS-SSIM)로 측정된다.
• 잠재 표현에 대해 학습된 하이퍼프리오르를 활용한 엔트로피 코딩을 적용하며, 비트스트림 비트레이트는 정규분포 및 균일 양자화 모델을 통해 계산된다.
• JPEG-AI CfE 표준의 전체 비트레이트 범위를 커버하기 위해 서로 다른 λ 조합을 사용해 세 개의 별도 모델을 학습시켜, 모든 목표 비트레이트에서 정밀한 비트레이트 제어를 실현한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 또는 복수의 모델 없이도 단일 학습된 오토에코더 아키텍처가 넓은 비트레이트 범위에서 변수 비트레이트 이미지 압축을 수행할 수 있는가?
• RQ2 λ에 의해 조절되는 특징맵 스케일링과 함께 일반화 옥타브 컨볼루션을 사용할 경우, 기존의 표준 컨볼루션 네트워크에 비해 비트레이트-왜곡 성능이 어떻게 향상되는가?
• RQ3 유사 조건 하에서 제안된 방법이 VVC와 BPG를 초월해 Y-MS-SSIM 및 YUV-PSNR 측면에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 라그랑주 매개변수 λ가 다양한 이미지 콘텐츠에 걸쳐 내부 레이어를 효과적으로 조절하여 정밀한 비트레이트 제어를 가능하게 할 수 있는가?
• RQ5 이 다주파수, 다비트레이트 프레임워크에서 모델 복잡도, 인코딩/디코딩 속도, 압축 성능 간의 상호 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 고비트레이트에서 VVC 테스트 모델(VTM) 대비 최대 5 dB 높은 Y-MS-SSIM 성능를 기록하며, 구조적 유사성 측면에서 뚜렷한 우월성을 보였다.
• YUV-PSNR 측면에서, 제안된 방법은 다양한 테스트 이미지에서 BPG 수준의 성능를 기록하며, 높은 재현성(정밀도)을 입증하였다.
• 적절한 λ 값을 선택함으로써, 학습 데이터셋 외부의 비트레이트에서도 전체 목표 비트레이트에서 1% 이내의 비트레이트 정확도를 확보하였다.
• 1944×1296 해상도의 이미지에 대해 CPU 기반으로는 인코딩 15초, 디코딩 21초가 소요되었으며, GPU 기반으로는 10초 이내로 빠른 처리 속도를 기록하여 높은 효율성을 입증하였다.
• JPEG-AI CfE 표준의 전체 비트레이트 범위를 커버하기 위해 단지 세 개의 모델만으로도 충분하며, 이는 강력한 일반화 능력과 확장성의 증거이다.
• 조절 가능한 일반화 옥타브 컨볼루션을 사용함으로써 표준 옥타브 컨볼루션 대비 공간적 구조를 더 잘 유지하며, 이는 복원 품질 향상에 기여하였다.