[논문 리뷰] ELIC: Efficient Learned Image Compression with Unevenly Grouped Space-Channel Contextual Adaptive Coding

Dailan He, Ziming Yang외 4명|arXiv (Cornell University)|2022. 03. 21.

Advanced Data Compression Techniques인용 수 10

한 줄 요약

ELIC는 학습된 이미지 압축 프레임워크로서, 비균형적으로 그룹화된 채널 조건부 엔트로피 코딩과 공간적 맥락 모델링을 결합하여 최신의 비율-왜곡 성능을 달성하면서도 높은 디코딩 속도를 유지한다. 학습된 특징에서의 정보 압축을 활용하고 GDN 레이어를 잔차 버블넥 블록으로 대체함으로써 비트레이트를 감소시키면서도 속도를 희생하지 않으며, 이는 빠른 미리 보기 및 점진적 디코딩을 가능하게 하여 실세계 적용을 위한 핵심 요소가 된다.

ABSTRACT

Recently, learned image compression techniques have achieved remarkable performance, even surpassing the best manually designed lossy image coders. They are promising to be large-scale adopted. For the sake of practicality, a thorough investigation of the architecture design of learned image compression, regarding both compression performance and running speed, is essential. In this paper, we first propose uneven channel-conditional adaptive coding, motivated by the observation of energy compaction in learned image compression. Combining the proposed uneven grouping model with existing context models, we obtain a spatial-channel contextual adaptive model to improve the coding performance without damage to running speed. Then we study the structure of the main transform and propose an efficient model, ELIC, to achieve state-of-the-art speed and compression ability. With superior performance, the proposed model also supports extremely fast preview decoding and progressive decoding, which makes the coming application of learning-based image compression more promising.

연구 동기 및 목표

• 학습된 이미지 압축에서 압축 효율성과 디코딩 속도 사이의 상충 관계를 해결하기 위해.
• 학습된 특징에서의 정보 압축을 활용하여 엔트로피 코딩 효율을 향상시키기 위해.
• GDN 레이어 대신 잔차 버블넥 블록을 사용하여 빠르고 확장 가능한 비선형 변환을 설계하기 위해.
• 빠른 미리 보기 및 점진적 디코딩 기능을 통해 실용적 구현을 가능하게 하기 위해.
• 산업적 도입을 위해 비율-왜곡 성능과 추론 속도 사이의 균형을 맞추기 위해.

제안 방법

• 잠재 특징에서 관측된 에너지 압축을 바탕으로 비균형적인 채널 조건부 적응형 코딩을 제안하여 엔트로피 코딩의 부재를 감소시킨다.
• 공간적 및 채널별 맥락 모델링을 통합한 Space-Channel ConTeXt (SCCTX) 모델을 도입하여 공동 엔트로피 추정을 수행한다.
• 주 변환에서 GDN/IGDN 레이어를 스택된 잔차 버블넥(RB) 블록으로 대체하여 성능 향상과 학습 안정성을 향상시킨다.
• 서브 밀리초 수준의 빠른 디코딩을 가능하게 하기 위해 경량의 썸네일 생성기(썸네일 싱크로나이저)를 활용한다.
• 채널 블록 그룹화를 순차적으로 재구성함으로써 비용이 많이 드는 미디어 기반 예측 없이도 점진적 디코딩을 가능하게 한다.
• 하이브리드 접근 방식을 사용한다: 속도 향상을 위한 비균형 그룹화, RD 성능 향상을 위한 공간 맥락, 확장 가능한 성능 향상을 위한 잔차 블록.

실험 결과

연구 질문

• RQ1 채널 조건부 엔트로피 코딩에서 채널의 비균형 그룹화가 압축 효율성을 저하시키지 않고 지연 시간을 줄일 수 있는가?
• RQ2 공간적 맥락과 채널별 맥락 모델링을 어떻게 통합하여 비율-왜곡 성능을 향상시킬 수 있는가?
• RQ3 잔차 버블넥 블록이 GDN 레이어를 대체하여 압축 성능을 향상시키면서도 속도를 유지할 수 있는가?
• RQ4 빠른 썸네일 생성기가 학습된 이미지 압축에서 서브 밀리초 수준의 미리 보기 디코딩을 가능하게 할 수 있는가?
• RQ5 비용이 많이 들지 않는 계산적 오버헤드로 학습된 압축 모델에서 점진적 디코딩을 효율적으로 구현할 수 있는가?

주요 결과

• ELIC는 Kodak 및 CLIC Professional 데이터셋에서 최신 기술 성능을 달성하여 VVC보다 PSNR 및 MS-SSIM 모두에서 승리한다.
• 제안된 비균형 그룹화로 인해 균일한 10개 그룹화 방식 대비 적응형 엔트로피 추정 지연 시간이 50% 감소한다.
• GDN 레이어를 잔차 버블넥 블록으로 대체함으로써 Ballé2018 기준 BD-레이트가 최대 13.56% 향상되었고, Minnen2018 기준 11.14% 향상되었으며, 유사한 추론 속도를 유지한다.
• 썸네일 생성기는 약 3 마이크로초 내에 미리 보기 이미지를 생성하여 전체 디코딩보다 12배 이상 빠르다.
• 첫 16개 채널에서 이미 구조적 세부 정보가 재구성되며, 5개 그룹에서 전체 품질이 확보된다.
• SCCTX 모델은 10개 슬라이스로 균일하게 그룹화한 경우보다 더 빠른 디코딩 속도를 제공하면서도 더 우수한 비율-왜곡 성능을 달성한다.