[논문 리뷰] Selective compression learning of latent representations for variable-rate image compression

Jooyoung Lee, Seyoon Jeong외 1명|arXiv (Cornell University)|2022. 11. 08.

Advanced Image and Video Retrieval Techniques인용 수 9

한 줄 요약

이 논문은 신경망 기반의 가변 비트레이트 이미지 압축을 위한 경량이며 엔드 투 엔드로 학습 가능한 방법인 선택적 표현 압축(SCR)을 제안한다. 이 방법은 콘텐츠에 따라 결정되는 중요도 맵과 품질에 적응하는 조정 곡선을 기반으로 잠재 표현 요소를 적극적으로 선택하여 엔트로피 코딩에 활용한다. 이 방법은 추가적인 오버헤드 없이 별도로 학습된 모델과 유사한 압축 효율을 달성하며, 보간을 통한 연속적인 비트레이트 제어를 가능하게 하고, 복호화 시간을 최대 25.71% 감소시킨다.

ABSTRACT

Recently, many neural network-based image compression methods have shown promising results superior to the existing tool-based conventional codecs. However, most of them are often trained as separate models for different target bit rates, thus increasing the model complexity. Therefore, several studies have been conducted for learned compression that supports variable rates with single models, but they require additional network modules, layers, or inputs that often lead to complexity overhead, or do not provide sufficient coding efficiency. In this paper, we firstly propose a selective compression method that partially encodes the latent representations in a fully generalized manner for deep learning-based variable-rate image compression. The proposed method adaptively determines essential representation elements for compression of different target quality levels. For this, we first generate a 3D importance map as the nature of input content to represent the underlying importance of the representation elements. The 3D importance map is then adjusted for different target quality levels using importance adjustment curves. The adjusted 3D importance map is finally converted into a 3D binary mask to determine the essential representation elements for compression. The proposed method can be easily integrated with the existing compression models with a negligible amount of overhead increase. Our method can also enable continuously variable-rate compression via simple interpolation of the importance adjustment curves among different quality levels. The extensive experimental results show that the proposed method can achieve comparable compression efficiency as those of the separately trained reference compression models and can reduce decoding time owing to the selective compression. The sample codes are publicly available at https://github.com/JooyoungLeeETRI/SCR.

연구 동기 및 목표

• 각 타겟 비트레이트에 대해 별도로 학습이 필요한 기존의 학습 기반 이미지 압축 방법의 높은 모델 복잡도 문제를 해결하기 위해.
• 추가적인 네트워크 모듈이나 레이어를 피하여 가변 비트레이트 압축에서 계산 및 메모리 오버헤드를 줄이기 위해.
• 재학습 없이도 연속적인 비트레이트 압축을 가능하게 하기 위해, 이산적 품질 수준 간의 중요도 조정 곡선 보간을 사용하기 위해.
• 선택적 엔트로피 코딩을 통해 잠재 표현을 처리함으로써 복호화 시간을 크게 줄이고, 동시에 압축 효율을 유지하거나 향상시키기 위해.
• 기존 압축 아키텍처와의 호환성을 유지하면서 최소한의 아키텍처 수정으로 구현 가능한 플러그 앤 플레이 솔루션을 제공하기 위해.

제안 방법

• 콘텐츠에 따라 결정되는 잠재 표현 요소의 중요도를 독립적으로 반영하는 3D 중요도 맵이 단일 1×1 컨볼루션 레이어를 통해 생성된다.
• 각 타겟 품질 수준에 대해, 채널별로 학습된 중요도 조정 곡선을 사용하여 3D 중요도 맵을 조정하여 품질에 특화된 우선순위를 반영한다.
• 조정된 중요도 맵은 반올림을 통한 임계값 처리를 통해 3D 이진 마스크를 생성하며, 이는 어떤 잠재 요소가 엔트로피 코딩을 거칠지 결정한다.
• 단지 소수의 파rameter(각 품질 수준당 1×1 컨볼루션과 몇 개의 곡선)를 추가함으로써 기존 모델과 원활하게 통합된다.
• 추론 중에 이산적 품질 수준 간의 중요도 조정 곡선을 보간하여 연속적인 비트레이트 지원을 달성한다.
• 전체 시스템은 엔드 투 엔드로 학습되며, 선택적 압축 및 적응형 양자화 구성 요소를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 단일 신경망 모델이 모델 복잡도를 증가시키지 않으면서도 별도로 학습된 모델과 유사한 압축 효율을 달성할 수 있는가?
• RQ2 다양한 타겟 품질 수준에 적응할 수 있는 잠재 표현의 선택적 압축은 어떻게 실현할 수 있으며, 높은 압축 효율을 유지할 수 있는가?
• RQ3 학습된 곡선의 보간을 통해 재학습 없이도 연속적인 비트레이트 압축을 지원할 수 있는가?
• RQ4 선택적 압축은 복호화 시간에 어떤 영향을 미치며, 이를 통해 존재하는 경량 가변 비트레이트 방법보다 빠른 성능을 낼 수 있는가?
• RQ5 이 방법은 얼마나 많은 추가 모델 오버헤드를 유발하는가? 그리고 기존 압축 프레임워크에 대한 플러그 앤 플레이 향상으로 간주할 수 있는가?

주요 결과

• Hyperprior 및 Mean-scale 모델의 선택적 압축이 없는 변종 대비 평균 복호화 시간을 각각 11.28%와 8.32% 감소시켰다.
• Context 기반 모델의 경우, 선택적 압축이 없는 변종 대비 25.71% 빠르게 복호화되었으며, 기준 모델 대비 q=8.0에서 21.53% 빠른 복호화를 기록했다.
• PSNR 및 BD-rate 측정 기준으로 모든 타겟 품질 수준에서 별도로 학습된 기준 모델과 유사한 압축 효율을 달성했다.
• Hyperprior 모델의 경우 모델 파라미터가 단지 0.59%(0.26 MB) 증가했으며, Mean-scale 및 Context 모델의 경우 유사한 최소 오버헤드를 기록했다.
• 이중 품질 수준 간의 중요도 조정 곡선 비선형 보간을 통해 안정적인 연속적인 비트레이트 압축을 실현했다.
• 선택적 처리 덕분에 인코딩 시간도 크게 감소하였으며, 결과는 보조 자료에 기재되어 있다.