[논문 리뷰] Contextformer: A Transformer with Spatio-Channel Attention for Context Modeling in Learned Image Compression

A. Burakhan Koyuncu, Han Gao외 4명|arXiv (Cornell University)|2022. 03. 04.

Advanced Data Compression Techniques인용 수 4

한 줄 요약

이 논문은 학습된 이미지 압축을 위한 스파티오-채널 주의를 갖춘 트랜스포머 기반의 컨텍스트 모델인 Contextformer를 제안한다. 이 모델은 잠재 공간 내에서 공간적 및 채널 간 상관관계를 동시에 모델링한다. 현대적 압축 프레임워크에서 표준 컨텍스트 모델을 대체함으로써, Contextformer는 VTM 16.2 대비 최대 11%의 비트율 절감을 달성하며, Kodak, CLIC2020, Tecnick 데이터셋에서 PSNR 및 MS-SSIM 측면에서 기존의 학습 기반 방법들을 능가한다.

ABSTRACT

Entropy modeling is a key component for high-performance image compression algorithms. Recent developments in autoregressive context modeling helped learning-based methods to surpass their classical counterparts. However, the performance of those models can be further improved due to the underexploited spatio-channel dependencies in latent space, and the suboptimal implementation of context adaptivity. Inspired by the adaptive characteristics of the transformers, we propose a transformer-based context model, named Contextformer, which generalizes the de facto standard attention mechanism to spatio-channel attention. We replace the context model of a modern compression framework with the Contextformer and test it on the widely used Kodak, CLIC2020, and Tecnick image datasets. Our experimental results show that the proposed model provides up to 11% rate savings compared to the standard Versatile Video Coding (VVC) Test Model (VTM) 16.2, and outperforms various learning-based models in terms of PSNR and MS-SSIM.

연구 동기 및 목표

• 학습된 이미지 압축에서 엔트로피 모델링을 위한 잠재 공간 내 스파티오-채널 상관관계의 잠재적 활용 부족 문제를 해결하기 위해.
• 비적응형 마스크 컨볼루션을 동적 주의 기반 메커니즘으로 대체함으로써 컨텍스트 적응성을 향상시키기 위해.
• 모델 크기를 늘리거나 재학습이 필요 없이도 높은 성능을 유지하는 효율적인 추론 파이프라인을 개발하기 위해.
• 상태의 기반 학습 기반 압축 모델과 VVC 테스트 모델(VTM) 16.2의 비트율-왜곡 성능을 능가하기 위해.

제안 방법

• 잠재 텐서 내에서 공간적 및 채널별 상관관계를 동시에 모델링할 수 있도록 일반화된 새로운 스파티오-채널 주의 메커니즘을 도입한다.
• 각 토큰이 잠재 표현 전역에서 공간적 및 채널 연관 특징에 주의를 기울이는 트랜스포머 아키텍처 기반의 컨텍스트 모델인 Contextformer를 설계한다.
• 입력 패턴에 따라 동적으로 컨텍스트를 적응시키기 위해 학습 가능한 쿼리, 키, 밸류를 활용한 멀티헤드 주의 메커니즘을 적용한다.
• 블록 단위 복원(BDS)과 세그먼트 단위 코딩 전략(SCS)이라는 두 가지 알고리즘 최적화 기법을 도입하여 인코더 런타임을 줄이고 병렬 처리를 가능하게 한다.
• 디코더에서 웨이브프론트 복원을 적용하여 병렬 처리를 가능하게 하고 복원 시간을 감소시켜 3D 컨텍스트 모델 대비 9배의 속도 향상을 달성한다.
• 성능 향상을 위해 아키텍처 혁신과 추론 최적화를 통해 이전 연구들과 동일한 모델 아키텍처와 파라미터를 유지한다.

실험 결과

연구 질문

• RQ1 공간적 및 채널 간 상관관계를 동시에 모델링하는 트랜스포머 기반 컨텍스트 모델이 학습된 이미지 압축에서 비트율-왜곡 성능을 향상시킬 수 있는가?
• RQ2 스파티오-채널 주의는 표준 공간적 주의 또는 채널별 주의 대비 엔트로피 모델링 정확도에서 어떻게 비교되는가?
• RQ3 성능 저하 없이 또는 재학습 없이 주의 기반 컨텍스트 모델의 계산 비용을 줄일 수 있는가?
• RQ4 코딩 순서와 채널 세그먼테이션은 정보 분포와 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 모델은 VTM 16.2 및 다른 학습 기반 모델 대비 PSNR, MS-SSIM 및 비트율 절감 측면에서 어떻게 비교되는가?

주요 결과

• Contextformer는 Kodak, CLIC2020, Tecnick 데이터셋 전반에서 VTM 16.2 대비 평균 6.9%~10.5%의 비트율 절감을 달성하여 BD-Rate 이득을 기록한다.
• 모든 평가된 학습 기반 기준 모델 대비 PSNR 및 MS-SSIM 측면에서 모두 슈퍼리어한 성능을 보이며, 뛰어난 비트율-왜곡 성능과 시각적 품질을 입증한다.
• 채널 우선 순서(cfo) 코딩 전략을 사용할 경우, Contextformer는 총 정보의 70% 이상을 첫 두 채널 세그먼트에 저장하여 강력한 채널 간 상관관계 모델링 능력을 보여준다.
• 4개의 채널 세그먼트를 사용할 경우 성능와 복잡도 사이의 최적의 트레이드오���이 달성되며, 세그먼트 수를 더 늘릴 경우 성능 향상은 미미하지만 훈련 비용은 크게 증가한다.
• 제안된 BDS 및 SCS 최적화를 통해 픽셀 수가 20배 증가한 4K 이미지로 확장하더라도 인코더 런타임은 단지 3배 증가한다.
• 웨이브프론트 복원은 3D 컨텍스트 모델 대비 9배 빠른 복원 속도를 제공하여 추론 시 병렬 처리의 효과를 입증한다.