[논문 리뷰] Enhanced Invertible Encoding for Learned Image Compression

Yueqi Xie, Ka Leong Cheng외 1명|arXiv (Cornell University)|2021. 08. 08.

Advanced Data Compression Techniques참고 문헌 42인용 수 9

한 줄 요약

이 논문은 학습된 이미지 압축에서 정보 손실을 줄이기 위해 비가역적인 오토에코 스타일 인코더를 대체하기 위해 비가역 신경망(INNs)을 사용한 향상된 가역 인코딩 네트워크를 제안한다. 안정적인 차원 감소를 위한 주의 기반 채널 압축 레이어와 비선형성을 향상시키기 위한 특징 강화 모듈을 도입함으로써, 이 방법은 Kodak, CLIC, Tecnick 데이터셋에서 최신 기술 수준(SoTA) 성능을 달성하며, 특히 고해상도에서 VVC(VTM 12.1)를 능가한다.

ABSTRACT

Although deep learning based image compression methods have achieved promising progress these days, the performance of these methods still cannot match the latest compression standard Versatile Video Coding (VVC). Most of the recent developments focus on designing a more accurate and flexible entropy model that can better parameterize the distributions of the latent features. However, few efforts are devoted to structuring a better transformation between the image space and the latent feature space. In this paper, instead of employing previous autoencoder style networks to build this transformation, we propose an enhanced Invertible Encoding Network with invertible neural networks (INNs) to largely mitigate the information loss problem for better compression. Experimental results on the Kodak, CLIC, and Tecnick datasets show that our method outperforms the existing learned image compression methods and compression standards, including VVC (VTM 12.1), especially for high-resolution images. Our source code is available at https://github.com/xyq7/InvCompress.

연구 동기 및 목표

• 비가역적인 오토에코 스타일 인코더로 인한 학습된 이미지 압축에서의 정보 손실 문제를 해결한다.
• 이전의 INN 기반 압축 방법에서의 안정성 부족과 표현 능력 제한 문제를 극복한다.
• 인코딩-디코딩 과정에서 стрict한 가역성 유지로 고비트레이트 압축을 통해 최소한의 정보 손실을 달성한다.
• 불안정한 샘플링 기반 메커니즘을 학습 가능한 주의 기반 채널 압축 레이어로 대체하여 INN의 훈련 안정성을 높인다.
• 가역성 손실 없이 잔차 연결과 동일한 해상도 변환을 갖춘 비선형 특징 강화 모듈을 통해 INN의 비선형 표현 능력을 향상시킨다.

제안 방법

• 이미지와 잠재 특징 공간 간의 엄격한 가역성 변환을 보장하기 위해 비가역 신경망(INNs)을 핵심 아키텍처로 활용한다.
• 채널 그룹에 대해 평균을 취함으로써 특징 차원을 감소시키는 주의 기반 채널 압축 레이어를 도입하여 저비트레이트 압축을 가능하게 하면서도 가역성을 유지한다.
• 원본 및 압축된 특징 간 평균 절대 편차를 정규화하기 위해 스케일링 인자 μ를 사용하여 다양한 품질 수준 간 상대적 정보 손실 비교를 가능하게 한다.
• 잔차 연결과 동일한 해상도 변환을 갖춘 비선형 특징 강화 모듈을 설계하여 가역성 손실 없이 표현 능력을 향상시킨다.
• 이전의 INN 방법에서 불안정한 샘플링 기반 역전파를 채널 복사에 의한 결정적이고 미분 가능한 역연산으로 대체한다.
• 산술 부호화를 사용하여 엔트로피 모델링을 수행하고, 비율-왜곡 목적함수를 공동 최적화하여 전체 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 비가역 신경망(INNs)이 오토에코 기반 방법과 비교해 학습된 이미지 압축에 효과적으로 통합되어 정보 손실을 줄일 수 있는가?
• RQ2 저비트레이트 압축을 위해 차원 감소를 적용할 때 INN 기반 압축의 훈련 불안정성을 어떻게 완화할 수 있는가?
• RQ3 제안된 특징 강화 모듈이 이미지 압축에서 INN의 비선형 표현 능력을 얼마나 향상시키는가?
• RQ4 주의 기반 채널 압축 레이어가 가역성을 유지하면서 특징 차원을 안정적이고 확장 가능하게 제어할 수 있는가?
• RQ5 제안된 방법은 고해상도 이미지 데이터셋에서 최신 기술 수준의 학습된 압축 및 기존 표준(VVC)과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 방법은 Kodak, CLIC, Tecnick 데이터셋에서 기존의 학습된 이미지 압축 방법과 VVC(VTM 12.1) 표준을 모두 초월하며, 특히 고해상도에서 뛰어난 성능을 보였다.
• CLIC Professional Validation 데이터셋에서, 유사한 비트레이트 수준에서 VVC보다 높은 PSNR와 MS-SSIM을 달성하여 고해상도 이미지에서 뛰어난 성능을 입증했다.
• 제거 실험 결과, 비선형 특징 강화 모듈이 압축 성능을 향상시켜 더 낮은 비트레이트와 더 높은 PSNR/MS-SSIM 값을 달성함을 확인했다.
• 원본 및 압축된 특징 간의 스케일링된 평균 절대 편차(ε̃)는 일관되게 낮았으며, 양자화 오차 수준 이하이거나 유사한 수준이었고, 이는 최소한의 정보 손실을 의미한다.
• 시각적 결과는 동일한 비트레이트에서 VVC 및 기타 최신 기술 수준 방법보다 더 많은 세부 정보를 유지한 재구성 이미지를 보여주었다.
• 상대적 편차(ε̃)는 품질 수준이 높아질수록 감소함을 확인하여, 고품질 모델에서 주의 기반 채널 압축 레이어의 평균화 연산으로 인한 왜곡이 적음을 확인했다.