[논문 리뷰] Real-Time Adaptive Image Compression

Oren Rippel, Lubomir Bourdev|arXiv (Cornell University)|2017. 05. 16.

Advanced Image Processing Techniques참고 문헌 20인용 수 114

한 줄 요약

머신러닝 기반 자동인코더를 이용한 손실 이미지 압축으로 JPEG, JPEG 2000, WebP 및 BPG보다 더 작은 파일 크기를 달성하며 GPU에서 실시간으로 작동합니다.

ABSTRACT

We present a machine learning-based approach to lossy image compression which outperforms all existing codecs, while running in real-time. Our algorithm typically produces files 2.5 times smaller than JPEG and JPEG 2000, 2 times smaller than WebP, and 1.7 times smaller than BPG on datasets of generic images across all quality levels. At the same time, our codec is designed to be lightweight and deployable: for example, it can encode or decode the Kodak dataset in around 10ms per image on GPU. Our architecture is an autoencoder featuring pyramidal analysis, an adaptive coding module, and regularization of the expected codelength. We also supplement our approach with adversarial training specialized towards use in a compression setting: this enables us to produce visually pleasing reconstructions for very low bitrates.

연구 동기 및 목표

• 가볍고 실시간인 ML 기반 이미지 압축기를 개발하여 전통 코덱보다 압축 효율을 상회한다.
• 학습된 표현을 통해 목표 비트레이트를 만족하도록 적응적 비트스트림 제어를 가능하게 한다.
• 매우 낮은 비트레이트에서 인지적 품질을 향상시키기 위해 적대적 학습을 도입한다.
• 피라미드식 다중 스케일 특징 추출 및 적응 코딩 파이프라인을 활용하여 효율성을 향상시킨다.

제안 방법

• 스케일에 걸친 구조를 포착하기 위한 피라미드식 다중 스케일 특징 추출.
• 스케일 간 정렬로 여러 스케일의 정보를 융합한다.
• 양자화, 비트플레인 분해 및 양자화된 표현의 손실 없는 코딩을 위한 적응 산술 부호화.
• 목표 비트레이트를 향하도록 기대 코드 길이를 조정하는 적응형 코드 길이 규제.
• GAN 판별기를 이용한 다중 스케일 적대적 학습으로 시각적으로 만족스러운 재구성을 유도한다.

실험 결과

연구 질문

• RQ1 다중 비트레이트에서 신경망 압축 모델이 기존 코덱을 능가하면서 실시간 인코딩/디코딩 속도를 유지할 수 있는가?
• RQ2 적응형 코드 길이 규제와 비트플레인 산술 부호화를 어떻게 통합하여 목표 비트레이트를 효과적으로 달성할 수 있는가?
• RQ3 다중 스케일 적대적 학습이 압축 성능을 저하시키지 않으면서 지각 품질을 개선하는가?

주요 결과

코덱	RGB 파일 크기 (kb)	YCbCr 파일 크기 (kb)	인코딩 시간 (ms)	디코딩 시간 (ms)
Ours	21.4	17.4	8.6	9.9
JPEG	65.3	43.6	18.6	13.0
JP2	54.4	43.8	367.4	80.4
WebP	49.7	37.6	67.0	83.7

• 제안된 ML 기반 코덱은 Kodak PhotoCD 및 RAiSE-1k 데이터셋에서 품질 수준에 걸쳐 JPEG 및 JPEG 2000보다 일반적으로 2.5배 더 작은 파일, WebP보다 2배 더 작고 BPG보다 1.7배 더 작게 생성한다.
• GTX 980 Ti GPU에서 인코딩/디코딩 시간은 각각 약 9 ms 및 10 ms로 실시간 가능성을 시사한다.
• 이 방법은 테스트된 속도에서 평균 MS-SSIM 및 데이터셋의 성능에서 전통 코덱 및 기존 ML 기반 방법보다 우수하다.
• 적응적 코드 길이 규제는 목표 비트레이트를 향해 기대 비트 수를 제어하면서도 유연한 병목 용량을 유지하게 한다.
• 다중 스케일 적대적 학습은 지상 진실 이미지의 통계를 일치시켜 낮은 비트레이트에서도 시각적으로 만족스러운 재구성을 제공한다.