[논문 리뷰] DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression

Yi Ma, Yongqi Zhai외 1명|arXiv (Cornell University)|2022. 01. 04.

Advanced Data Compression Techniques인용 수 7

한 줄 요약

DeepFGS는 특징 분離 백본과 정보 재배치 전략을 통해 연속적인 비트스트림 스케일러비리티를 달성하는 최초의 학습 기반으로, 미세 조절 가능한 확장 가능한 이미지 압축 모델을 제안한다. 이로 인해 단일 인코딩 단계로도 고성능의 비율-왜곡 성능을 달성하며, 모든 테스트 비트레이트에서 기존의 전통적 및 학습 기반 스케일러빌리티 코덱을 능가하는 PSNR 및 MS-SSIM 성능을 보인다.

ABSTRACT

Scalable coding, which can adapt to channel bandwidth variation, performs well in today's complex network environment. However, the existing scalable compression methods face two challenges: reduced compression performance and insufficient scalability. In this paper, we propose the first learned fine-grained scalable image compression model (DeepFGS) to overcome the above two shortcomings. Specifically, we introduce a feature separation backbone to divide the image information into basic and scalable features, then redistribute the features channel by channel through an information rearrangement strategy. In this way, we can generate a continuously scalable bitstream via one-pass encoding. In addition, we reuse the decoder to reduce the parameters and computational complexity of DeepFGS. Experiments demonstrate that our DeepFGS outperforms all learning-based scalable image compression models and conventional scalable image codecs in PSNR and MS-SSIM metrics. To the best of our knowledge, our DeepFGS is the first exploration of learned fine-grained scalable coding, which achieves the finest scalability compared with learning-based methods.

연구 동기 및 목표

• 기존의 스케일러빌리티 이미지 압축 방법의 한계, 즉 압축 성능 저하와 굵은 스케일러비리티 문제를 해결하기 위해.
• 단일 인코딩 단계로도 미세 조절 가능한 연속적 스케일러빌리티를 구현할 수 있는 학습 기반 이미지 압축 모델을 개발하기 위해.
• 어떤 비트레이트에서라도 비트스트림을 특정 지점에서 잘라내어 고품질의 이미지 재구성을 가능하게 하기 위해.
• 디코더를 재사용하고 상호 정보 모델링을 통한 엔트로피 추정 향상을 통해 모델 복잡도를 감소시키기 위해.

제안 방법

• 픽셀 수준과 특징 수준에서의 부재를 최소화하기 위해 이미지 특징을 기본(\(l_b\)) 및 스케일러블(\(l_s\)) 성분으로 분리하는 특징 분리 백본을 도입한다.
• 각 채널 단위로 \(l_s\) 특징을 재배열하는 정보 재배치 전략을 적용하여 전진 의존성을 구축함으로써, 추가로 디코딩되는 채널 수에 따라 점진적인 품질 향상을 가능하게 한다.
• \(l_b\)와 \(l_s\) 간의 의존성을 모델링하여 확률 추정을 향상시키고 엔트로피 추정 오차를 감소시키기 위해 상호 정보 인식 엔트로피 모델을 사용한다.
• 디코더 네트워크를 재사용하여 파라미터 수와 계산 복잡도를 감소시켜 성능을 희생시키지 않은 채 효율성을 향상시킨다.
• 단일 비트스트림을 생성하는 단일 단계 인코딩을 가능하게 하여 전체 비트레이트 범위를 커버하는 연속적 스케일러빌리티 비트스트림을 확보한다.

실험 결과

연구 질문

• RQ1 학습 기반 이미지 압축 모델이 압축 성능을 유지하거나 향상시키면서도 미세 조절 가능한 연속적 스케일러빌리티를 달성할 수 있는가?
• RQ2 기본 성분과 스케일러블 성분 간의 특징 부재를 어떻게 최소화할 수 있는가? 이를 통해 압축 효율성을 향상시킬 수 있는가?
• RQ3 정보 재배치 전략을 통해 다중 인코딩 없이도 채널 단위로 디코딩할 때 점진적인 품질 향상을 달성할 수 있는가?
• RQ4 특징 성분 간의 상호 정보 모델링이 엔트로피 추정 및 전체 압축 성능 향상에 얼마나 기여하는가?

주요 결과

• DeepFGS는 모든 학습 기반 및 전통적 스케일러블 이미지 코덱 중에서 가장 높은 PSNR 및 MS-SSIM 성능를 기록하며, 모든 테스트 비트레이트에서 BPG와 VVC를 초월한다.
• 모델은 거의 연속적인 스케일러빌리티를 제공하여, 단일 비트스트림에서 수십 개의 고유한 품질 수준에서 고품질 이미지를 디코딩할 수 있다.
• 제거 실험 결과, 제안된 모든 모듈—특징 수준의 부재 제거, 특징 융합, 상호 엔트로피 모델링—이 성능 향상에 기여하며, 고비트레이트에서는 MEM가 더 효과적이며, 저비트레이트에서는 FFM이 더 유리하다는 것이 확인되었다.
• 시각적 결과에서는, 특히 얼굴나 직물 등의 텍스처와 윤곽선에서 이전 방법보다 더 많은 구조적 세부 정보를 유지함을 보였다. 이는 낮은 비트레이트에서도 마찬가지였다.
• 다중 품질 레이어가 필요한 경우, 상호 레이어 간의 부재를 제거함으로써 시뮬캐스트 기반 접근 방식보다 뛰어난 효율성을 보였다.