[논문 리뷰] Lossless Image Compression through Super-Resolution

Sheng Cao, Chao-Yuan Wu외 1명|arXiv (Cornell University)|2020. 04. 06.

Advanced Image Processing Techniques참고 문헌 50인용 수 29

한 줄 요약

이 논문은 초해상도 기반 압축(SReC)을 제안하며, 저해상도 이미지를 인코딩하고 다중 반복 초해상도 복원을 통해 고해상도 세부 정보를 압축하는 새로운 손실 없는 이미지 압축 방법이다. 저해상도 입력 조건 하에 고해상도 픽셀의 확률 분포를 모델링하고 엔트로피 코딩을 사용함으로써, SReC는 효율적인 런타임과 작은 모델 크기로 최신 기술 수준의 압축률을 달성한다.

ABSTRACT

We introduce a simple and efficient lossless image compression algorithm. We store a low resolution version of an image as raw pixels, followed by several iterations of lossless super-resolution. For lossless super-resolution, we predict the probability of a high-resolution image, conditioned on the low-resolution input, and use entropy coding to compress this super-resolution operator. Super-Resolution based Compression (SReC) is able to achieve state-of-the-art compression rates with practical runtimes on large datasets. Code is available online at https://github.com/caoscott/SReC.

연구 동기 및 목표

• 초해상도를 압축 메커니즘으로 활용하여 손실 없는 이미지 압축을 위한 효과적인 확률 모델 설계의 과제를 해결한다.
• 자기회귀 모델의 비효율성을 극복하기 위해 계층적이고 병렬 처리가 가능한 초해상도 프레임워크를 사용한다.
• 초해상도 과정에서 유도되는 구조적 제약을 활용하여 엔트로피 코딩 비트레이트를 줄이고 압축 효율을 향상시킨다.
• 대규모 데이터셋에서 실용적인 런타임과 작은 모델 크기를 유지하면서 최신 기술 수준의 압축 성능을 달성한다.

제안 방법

• 초기 데이터 크기를 줄이기 위해 이미지의 저해상도 버전을 원시 픽셀로 저장한다.
• 손실 없는 초해상도를 세 번 반복 적용하며, 저해상도 입력의 각 픽셀이 네 개의 고해상도 출력 픽셀에 대한 확률 분포를 예측한다.
• 신경망을 사용하여 저해상도 입력 조건 하에 고해상도 픽셀의 조건부 확률 분포를 모델링한다.
• 산술 코딩을 적용하여 예측된 확률 분포를 엔트로피 코딩함으로써 초해상도 연산자의 손실 없는 압축을 가능하게 한다.
• 초해상도가 공간 일관성을 강제하기 때문에, 25%의 픽셀이 명시적인 코딩 없이 '무료로' 재구성될 수 있다.
• 병렬 처리가 가능하고 계층적 수준 간 효율적인 추론을 가능하게 하는 경량이며 공유 아키텍처 설계를 사용한다.

실험 결과

연구 질문

• RQ1 저해상도 입력 조건 하에 픽셀 분포를 모델링함으로써 초해상도를 손실 없는 압축 메커니즘으로 재사용할 수 있는가?
• RQ2 초해상도의 구조적 제약은 일반 자기회귀 모델 대비 엔트로피 코딩 비트레이트를 어떻게 줄이는가?
• RQ3 초해상도 기반 압축 모델은 실용적인 런타임과 작은 모델 크기를 유지하면서 최신 기술 수준의 압축률을 달성할 수 있는가?
• RQ4 다양한 데이터셋에서 SReC의 성능은 수작업 설계된 코덱(PNG, WebP, FLIF 등)과 딥러닝 기반 방법(L3C, IDF 등)과 비교해 어떻게 되는가?

주요 결과

• SReC는 ImageNet64와 Open Images에서 최신 기술 수준의 압축 성능을 달성했으며, Open Images에서는 2.29 bpsp, ImageNet64에서는 4.29 bpsp를 기록하여 모든 실용적인 이전 방법을 능가한다.
• SReC는 Open Images에서 두 번째로 우수한 방법(IDF)보다 약 55배 빠르며, 인코딩 시간 0.99초, 디코딩 시간 1.15초를 기록한다.
• 모델은 매우 높은 파rameter 효율성을 보이며, 단지 420만 개의 파라미터를 가지며, 다음으로 가장 컴팩트한 방법(L3C)보다 약 20배 작다.
• SReC는 복잡하고 압축이 어려운 이미지(예: 고주파 수직 무늬)에서 더 큰 압축 이득을 보이며, 복잡한 이미지 패턴을 효과적으로 모델링함을 시사한다.
• Reed 등 [35]의 PixelCNN 변종보다 30배 빠른 성능을 기록하여, 장시간 소요되는 런타임으로 인해 실용적이지 않은 기존 방법에 비해 뛰어난 성능을 보인다.
• 초해상도 제약을 활용함으로써 확률 분포의 범위가 제한되어 엔트로피 코딩 비용이 감소하며, 이는 압축 효율 향상에 기여한다.