[논문 리뷰] Frequency-Aware Transformer for Learned Image Compression

Han Li, Shaohui Li외 4명|arXiv (Cornell University)|2023. 10. 25.

Advanced Data Compression Techniques인용 수 7

한 줄 요약

이 논문은 학습된 이미지 압축을 위한 주파수 인지 트랜스포머(FAT) 블록을 제안하며, 주파수 분해 창 attention(FDWA)과 주파수 조절 피드포워드 네트워크(FMFFN)를 통해 다중 척도 및 방향성 주파수 분석을 가능하게 하여, Kodak, Tecnick 및 CLIC 데이터셋에서 VTM-12.1 대비 BD-rate 기준 14.5–15.1% 향상된 최신 기술 수준의 비율-왜곡 성능을 달성한다.

ABSTRACT

Learned image compression (LIC) has gained traction as an effective solution for image storage and transmission in recent years. However, existing LIC methods are redundant in latent representation due to limitations in capturing anisotropic frequency components and preserving directional details. To overcome these challenges, we propose a novel frequency-aware transformer (FAT) block that for the first time achieves multiscale directional ananlysis for LIC. The FAT block comprises frequency-decomposition window attention (FDWA) modules to capture multiscale and directional frequency components of natural images. Additionally, we introduce frequency-modulation feed-forward network (FMFFN) to adaptively modulate different frequency components, improving rate-distortion performance. Furthermore, we present a transformer-based channel-wise autoregressive (T-CA) model that effectively exploits channel dependencies. Experiments show that our method achieves state-of-the-art rate-distortion performance compared to existing LIC methods, and evidently outperforms latest standardized codec VTM-12.1 by 14.5%, 15.1%, 13.0% in BD-rate on the Kodak, Tecnick, and CLIC datasets.

연구 동기 및 목표

• 기존의 학습된 이미지 압축 방법이 이방향 주파수 성분을 포착하는 데에 한계가 있음과 동시에 방향성 세부 정보를 유지하지 못하는 문제를 해결하기 위해.
• 주의 메커니즘을 활용하여 잠재 표현 내에서 엔드 투 엔드로 학습된 다중 척도 및 방향성 주파수 분해를 가능하게 하기 위해.
• 주파수 조절 피드포워드 네트워크를 통해 주파수 성분을 적응적으로 조절함으로써 비율-왜곡 성능을 향상시키기 위해.
• 트랜스포머 기반 채널별 조건부 자동회귀 엔트로피 모델을 사용하여 주파수 성분 간의 채널 간 상관관계를 모델링하기 위해.

제안 방법

• 다양한 창 형태를 가진 4종류의 주파수 분해 창 주의(FDWA)를 제안하여, 한 개의 주의 레이어 내에서 저주파, 고주파, 수직 및 수평 성분을 모두 포착한다.
• 주파수 도메인에서 학습된 필터에 기반해 주파수 성분을 적응적으로 증폭하거나 감쇠시키는 주파수 조절 피드포워드 네트워크(FMFFN)를 도입한다.
• 인과 마스킹을 사용하여 주파수 성분과 채널 간의 의존성을 모델링하는 트랜스포머 기반 채널별 조건부 자동회귀(T-CA) 엔트로피 모델을 설계한다.
• FAT 블록 기반 비선형 변환과 분석 및 복원 변환의 공동 최적화를 통한 엔드 투 엔드 훈련을 구현한다.
• FDWA의 주파수 분해 능력을 검증하기 위해 특징 맵의 주파수 내용을 분석하고 시각화하기 위해 빠른 푸리에 변환(FFT)을 활용한다.
• 모델 복잡성과 성능의 균형을 맞추기 위해 슬라이스 간에 공유된 트랜스포머 아키텍처를 적용하며, 최적의 비율-왜곡 트레이드오프를 위해 하이퍼파ram터를 조정한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘을 활용한 학습된 이미지 압축 프레임워크 내에서 자연 이미지의 다중 척도 및 방향성 주파수 성분을 효과적으로 포착할 수 있는가?
• RQ2 학습 가능한 필터를 통한 주파수 성분의 적응적 조절이 비율-왜곡 성능 향상에 어떻게 기여하는가?
• RQ3 트랜스포머 기반 채널별 조건부 자동회귀 모델이 주파수 대역 간의 채널 간 상관관계를 포착함으로써 엔트로피 모델링을 얼마나 향상시킬 수 있는가?
• RQ4 기존의 학습된 이미지 압축 모델에서 수작업 또는 비방향성 주의 모듈에 비해 주파수 인지 주의 모듈의 엔드 투 엔드 최적화가 더 높은 압축 효율을 이끌어내는가?

주요 결과

• 제안된 FAT 모델은 VTM-12.1 대비 Kodak 데이터셋에서 BD-rate 기준 14.5% 향상된 최신 기술 수준의 비율-왜곡 성능을 달성한다.
• Tecnick 데이터셋에서 이는 VTM-12.1 대비 15.1% 향상된 BD-rate 성능을 기록하여 다양한 이미지 세트에서의 일관된 우수성을 입증한다.
• CLIC Professional Validation 데이터셋에서 이는 VTM-12.1 대비 13.0%의 BD-rate 향상을 기록하여 기준 기준 테스트에서의 강건성을 확인한다.
• 스펙트럼 분석 결과, FDWA가 주파수 성분을 효과적으로 분리함을 확인: LL-WA는 저주파를 포착하고, HH-WA는 고주파를 포착하며, HL/LH-WA는 방향성 성분을 포착한다.
• FMFFN 필터의 시각화 결과, 더 높은 비트레이트 모델이 더 많은 고주파 성분을 학습하는 것으로 나타나, 적응적 조절 메커니즘이 타당함을 검증한다.
• T-CA 엔트로피 모델은 슬라이스 수를 절반(5 vs 10)으로 줄이고 모델 복잡도를 감소시켜도 CHARM을 능가하는 R-D 성능을 유지한다.