[논문 리뷰] Joint Global and Local Hierarchical Priors for Learned Image Compression

Jun-Hyuk Kim, Byeongho Heo외 1명|arXiv (Cornell University)|2021. 12. 08.

Advanced Data Compression Techniques인용 수 4

한 줄 요약

이 논문은 콘텐츠에 의존하는 어텐션 메커니즘을 통해 전역 및 국소 계층적 사전 지식을 활용하는 새로운 학습된 엔트로피 모델인 Informer를 제안한다. 교차 어텐션을 사용해 전역 하이퍼프리오르를 생성하고, 1×1 컨벌루션을 통해 국소 하이퍼프리오르를 도입함으로써, 기존 전역 방법들보다 정사각형 형태의 계산 복잡도를 피하면서 Kodak 및 Tecnick 데이터셋에서 최신 기술 수준의 비율-왜곡 성능을 달성한다.

ABSTRACT

Recently, learned image compression methods have outperformed traditional hand-crafted ones including BPG. One of the keys to this success is learned entropy models that estimate the probability distribution of the quantized latent representation. Like other vision tasks, most recent learned entropy models are based on convolutional neural networks (CNNs). However, CNNs have a limitation in modeling long-range dependencies due to their nature of local connectivity, which can be a significant bottleneck in image compression where reducing spatial redundancy is a key point. To overcome this issue, we propose a novel entropy model called Information Transformer (Informer) that exploits both global and local information in a content-dependent manner using an attention mechanism. Our experiments show that Informer improves rate--distortion performance over the state-of-the-art methods on the Kodak and Tecnick datasets without the quadratic computational complexity problem. Our source code is available at https://github.com/naver-ai/informer.

연구 동기 및 목표

• 지역적 수신장으로 인해 CNN 기반 엔트로피 모델이 장거리 공간적 종속성을 포착하지 못하는 한계를 해결하기 위해.
• 수신장 내에서 서로 다른 이미지 영역을 동일하게 취급하는 컨벌루션 연산의 콘텐츠 무관성 문제를 해결하기 위해.
• 압축 효율성을 향상시키기 위해 콘텐츠에 의존하는 방식으로 전역 및 국소 종속성을 효과적으로 통합하는 엔트로피 모델을 설계하기 위해.
• 기존 전역 어텐션 기반 모델들과 달리 정사각형 형태의 계산 복잡도를 유발하지 않으면서도 초우수한 비율-왜곡 성능을 달성하기 위해.

제안 방법

• 양자화된 잠재 표현의 다양한 영역에 주목함으로써 전역 하이퍼프리오르를 생성하는 교차 어텐션 메커니즘을 사용하는 새로운 엔트로피 모델인 Informer를 제안한다.
• 국소 종속성을 특화하기 위해 1×1 컨볼루션 레이어를 통한 국소 하이퍼프리오르를 도입하여 전역 토큰이 국소 패턴에 과적합되지 않도록 방지한다.
• 국소 및 전역 하이퍼프리오르를 모두 사용하여 컨텍스트 프리오르를 업데이트하는 연쇄적이고 계층적인 프리오르 프레임워크를 활용한다.
• 전역 하이퍼프리오르에서 마스크된 멀티헤드 자기어텐션을 사용하여 콘텐츠 인식 방식으로 장거리 종속성을 모델링한다.
• 전역 및 국소 하이퍼프리오르를 별도로 처리하고, 이후 융합하여 엔트로피 추정 네트워크에서 사용하기 전에 병합하는 이중 브랜치 아키텍처를 설계한다.
• 가변적인 토큰 수(N)를 갖는 학습 가능한 전역 토큰 메커니즘을 도입하여 비트 전송률 요구사항에 따라 종속성 모델링을 적응적으로 수행한다.

Figure 1 : Overview of the proposed method. Our Informer is a learned entropy model capturing global dependencies in a content-dependent manner using the attention mechanism [ 46 ] .

실험 결과

연구 질문

• RQ1 콘텐츠에 의존하는 어텐션 메커니즘은 이미지 압축의 잠재 표현에서 장거리 공간적 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 전역 및 국소 하이퍼프리오르를 결합하면 단일 유형의 프리오르만 사용할 경우보다 비율-왜곡 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법은 기존 최신 기술 수준의 전역 어텐션 기반 모델들보다 더 뛰어난 성능을 달성하면서도 정사각형 형태의 계산 복잡도 문제를 겪지 않는가?
• RQ4 전역 토큰의 수가 다양한 비트 전송률 범위에서 비율-왜곡 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 이미지 압축에서 어텐션 메커니즘이 우수한 성능을 내는 이유가 아키텍처 자체의 특성 때문인가, 아니면 공동 전역 및 국소 프리오르의 특별한 설계 때문인가?

주요 결과

• Kodak 데이터셋에서 λ = 0.0067일 때, Informer는 0.2763 bpp의 비율과 31.3254 dB의 PSNR를 기록하여 베이스라인 및 전역 기준 모델을 모두 초월한다.
• λ = 0.0483일 때, Informer는 0.8514 bpp와 36.9739 dB의 PSNR를 달성했으며, 이는 전역 컨텍스트 모델(0.8718 bpp, 36.9134 dB)을 능가하는 성능을 보이며 비트 전송률 수준 전반에서 일관된 성능 향상을 보였다.
• 낮은 비트 전송률에서는 네 개의 전역 토큰이 최적의 성능을 내었고, 높은 비트 전송률에서는 여덟 개의 토큰이 더 우수한 성능을 보였으며, 잔여 중복성에 기반한 적응적 종속성 모델링이 가능함을 시사한다.
• 어텐션 맵의 시각화 결과, 전역 토큰이 서로 다른 콘텐츠 관련 영역(예: 벽돌 vs. 창문)에 주목하고 있음을 확인하여 콘텐츠에 의존하는 전역 모델링의 타당성을 검증하였다.
• 제거 실험 결과, 국소 하이퍼프리오르보다 전역 하이퍼프리오르로 컨텍스트 프리오르를 업데이트하는 것이 더 효과적이었으며, 이는 전역 프리오르의 더 강력한 모델링 능력을 시사한다.
• Informer는 이전의 전역 모델들처럼 정사각형 형태의 계산 복잡도를 유발하지 않으면서도 성능을 유지하거나 향상시키며, 실질적인 구현에 더 실용적임을 입증하였다.

(a) Hyperprior [ 8 ]