[논문 리뷰] Checkerboard Context Model for Efficient Learned Image Compression

Dailan He, Yaoyan Zheng외 3명|arXiv (Cornell University)|2021. 03. 29.

Advanced Data Compression Techniques참고 문헌 32인용 수 16

한 줄 요약

이 논문은 학습된 이미지 압축을 위한 병렬 처리 가능한 체스기물형 맥락 모델(CCM)을 제안한다. 이 모델은 두 번의 패assing으로 복호화 순서를 재구성함으로써 효율적이고 고속의 복호화를 가능하게 한다. 기존의 엄격한 순차적 처리를 요구하는 자동귀결 맥락 모델과는 달리, CCM은 체스기물형 컨볼루션을 사용하여 맥락 특징의 병렬 계산을 허용하며, 최신 기술 수준의 모델과 비교해 비용이 거의 들지 않는 rate-distortion 성능 손실로 40배 이상의 속도 향상을 달성한다.

ABSTRACT

For learned image compression, the autoregressive context model is proved effective in improving the rate-distortion (RD) performance. Because it helps remove spatial redundancies among latent representations. However, the decoding process must be done in a strict scan order, which breaks the parallelization. We propose a parallelizable checkerboard context model (CCM) to solve the problem. Our two-pass checkerboard context calculation eliminates such limitations on spatial locations by re-organizing the decoding order. Speeding up the decoding process more than 40 times in our experiments, it achieves significantly improved computational efficiency with almost the same rate-distortion performance. To the best of our knowledge, this is the first exploration on parallelization-friendly spatial context model for learned image compression.

연구 동기 및 목표

• 학습된 이미지 압축에서 자동귀결 맥락 모델의 계산 비효율성 문제를 해결하기 위해, 엄격한 순차적 복호화에 의존하는 기존 모델이 실시간 구현을 방해하는 문제를 해결한다.
• 높은 rate-distortion 성능를 유지하면서도 복호화 중에 완전한 병렬 처리를 가능하게 하는 맥락 모델링 방법을 개발한다.
• 모델 아키텍처나 용량을 변경하지 않고도 기존의 순차적 맥락 모델에 대한 즉각적인 교체를 가능하게 한다.
• 자기귀결 맥락 모델링의 복호화 병목 현상을 극복함으로써 고성능 학습된 압축 코덱의 실용적 구현을 가능하게 한다.

제안 방법

• 잠재 특징를 두 개의 번갈아 가며 배치된 집합(앵커 및 비앵커)으로 나누는 체스기물형 컨볼루션을 제안하여 맥락 계산의 병렬 처리를 가능하게 한다.
• 두 단계 복호화 전략을 설계: 먼저 모든 앵커 위치를 복호화한 후, 나머지 비앵커 위치들을 병렬로 맥락을 계산한다.
• 기존에 복호화된(보이는) 이웃들만 참조하도록 마스크된 컨볼루션을 사용하여 인과성( causality )을 보장한다.
• 기본 자동귀결 모델과 동일한 맥락 모델 구조를 사용하지만, 순차적 의존성을 제거하기 위해 계산 순서를 재정렬한다.
• 기존의 학습된 이미지 압축 프레임워크와의 호환성을 유지하기 위해 맥락 모델링 모듈만 교체한다.
• 표준 엔트로피 코딩과 하이퍼프리오어 모델링을 그대로 사용하며, 주요 오토에코더나 하이퍼프리오어 구성 요소에 변화가 없다.

실험 결과

연구 질문

• RQ1 학습된 이미지 압축을 위한 공간 맥락 모델이 rate-distortion 성능 손실 없이 완전히 병렬 처리 가능하게 만들 수 있는가?
• RQ2 자동귀결 모델에서 맥락 특징의 효율적 병렬 계산을 가능하게 하는 복호화 전략은 무엇인가?
• RQ3 잠재 표현의 계산 순서를 재정렬함으로써 복호화 속도 향상은 어느 정도 달성될 수 있는가?
• RQ4 제안된 방법은 최신 기술 수준의 복압축 아키텍처에서 기존의 순차적 맥락 모델에 대한 실용적인 교체 가능성이 있는가?

주요 결과

• 제안된 체스기물형 맥락 모델은 기존의 순차적 맥락 모델과 비교해 병렬 하드웨어(Nvidia TITAN XP)에서 복호화 속도가 40배 이상 향상되었다.
• 모델은 거의 동일한 rate-distortion 성능를 유지하며, 원본 순차 모델 대비 PSNR와 MS-SSIM에서 약간의 감소만을 보였다.
• Kodak 데이터셋에서 CCM 기반 모델은 Minnen2018과 Cheng2020 기준 각각 BDBR에서 17.0%와 27.4% 향상된 성능를 기록했다.
• 모델은 Kodak 및 Tecnick 데이터셋 전반에서 일관된 성능 향상을 보이며 일반화 능력이 뛰어나다는 것을 확인했다.
• 두 단계 복호화 전략은 맥락 계산을 성공적으로 분리하여, 인과성과 모델 정확도를 유지하면서도 완전한 병렬 처리를 가능하게 했다.
• 이 방법은 기존의 최신 기술 수준 아키텍처와 호환되며, 아키텍처 변경 없이도 플러그인 방식의 교체가 가능하다.