[논문 리뷰] Efficient Trimmed Convolutional Arithmetic Encoding for Lossless Image Compression.

Mu Li, Shuhang Gu외 2명|arXiv (Cornell University)|2018. 01. 15.

Advanced Data Compression Techniques참고 문헌 16인용 수 6

한 줄 요약

이 논문은 손실 없는 이미지 압축을 위한 계산 효율적인 방법인 컷오프 컨볼루션 산술부호화(TCAE)를 제안한다. TCAE는 단일 순방향 전파에서 큰 맥락을 모델링하기 위해 특수하게 설계된 컷오프 컨볼루션 네트워크를 사용한다. 부호화 순서와 맥락 의존성을 고려함으로써 TCAE는 뛰어난 압축 비율과 실시간 성능을 달성하여 기존의 CNN 및 RNN 기반 방법보다 손실 없는 압축과 손실 가능한 압축 환경 모두에서 슈퍼리어한 성능을 발휘한다.

ABSTRACT

Arithmetic encoding is an essential class of coding techniques which have been widely used in various data compression systems and exhibited promising performance. One key issue of arithmetic encoding method is to predict the probability of the current symbol to be encoded from its context, i.e., the preceding encoded symbols, which usually can be executed by building a look-up table (LUT). However, the complexity of LUT increases exponentially with the length of context. Thus, such solutions are limited in modeling large context, which inevitably restricts the compression performance. Several recent convolutional neural network (CNN) and recurrent neural network (RNN)-based solutions have been developed to account for large context, but are still costly in computation. The inefficiency of the existing methods are mainly attributed to that probability prediction is performed independently for the neighboring symbols, which actually can be efficiently conducted by shared computation. To this end, we propose a trimmed convolutional network for arithmetic encoding (TCAE) to model large context while maintaining computational efficiency. As for trimmed convolution, the convolutional kernels are specially trimmed to respect the compression order and context dependency of the input symbols. Benefited from trimmed convolution, the probability prediction of all symbols can be efficiently performed in one single forward pass via a fully convolutional network. Experiments show that our TCAE attains better compression ratio in lossless gray image compression, and can be adopted in CNN-based lossy image compression to achieve state-of-the-art rate-distortion performance with real-time encoding speed.

연구 동기 및 목표

• 큰 참조표(LUT)를 사용하는 전통적인 산술부호화 방법의 계산 비효율성을 해결한다.
• 큰 맥락을 모델링할 때 LUT의 지수적 복잡도가 압축 성능을 제한하는 문제를 해결한다.
• 일반적으로 각 기호를 독립적으로 처리하는 딥러닝 기반의 확률 예측의 계산 비용을 줄인다.
• 부호화 순서를 존중하도록 컨볼루션 연산을 재구성하여 인접한 기호 간의 공유 계산을 가능하게 한다.
• 제안된 아키텍처를 사용하여 실시간 인코딩 속도를 확보하면서도 손실 가능한 이미지 압축에서 최신 기술 수준의 비율-왜곡 성능을 달성한다.

제안 방법

• 입력 기호의 순차적 부호화 순서와 맥락 의존성을 고려하도록 표준 컨볼루션 커널을 수정한 컷오프 컨볼루션 네트워크를 도입한다.
• 모든 기호의 확률 예측을 단일 순방향 전파를 통해 완전 컨볼루션 아키텍처를 통해 계산할 수 있도록 네트워크를 설계한다.
• 과도한 계산을 제거하기 위해 맥락 인식 커널 프루닝을 적용하여 현재 확률 추정에 영향을 주는 과거 기호들만 기여하도록 보장한다.
• 이미지 전반에서 공간적 및 순차적 일관성을 유지하기 위해 완전 컨볼루션 구조를 사용한다.
• 엔드 투 엔드 성능 평가를 위해 TCAE 모듈을 손실 없는 압축 및 CNN 기반 손실 가능한 이미지 압축 파이프라인에 통합한다.
• 인접한 기호 간의 공유 계산을 활용하여 독립적 예측 방법 대비 계산 오버헤드를 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 표준 컨볼루션 또는 비정형 컨볼루션 대비 컷오프 컨볼루션은 산술부호화에서 큰 맥락을 효율적으로 모델링하면서 높은 계산 비용 없이 가능할 수 있는가?
• RQ2 컷오프 컨볼루션은 표준 또는 비정형 컨볼루션 대비 산술부호화에서 확률 예측의 효율성을 얼마나 향상시키는가?
• RQ3 TCAE는 실시간 부호화 속도를 유지하면서 손실 없는 이미지 압축에서 압축 비율을 얼마나 향상시킬 수 있는가?
• RQ4 TCAE는 기존의 CNN 기반 손실 가능한 압축 프레임워크에 효과적으로 통합되어 비율-왜곡 성능을 향상시킬 수 있는가?
• RQ5 TCAE의 공유 계산 메커니즘은 속도와 압축 효율성 측면에서 독립적 기호 예측보다 뛰어나게 성능을 발휘하는가?

주요 결과

• TCAE는 기존의 CNN 및 RNN 기반 방법보다 손실 없는 Grayscale 이미지 압축에서 더 나은 압축 비율을 달성한다.
• 이 방법은 실시간 부호화 속도를 제공하여 실세계 압축 시스템에 실용적으로 구현 가능한 것으로 나타났다.
• CNN 기반 손실 가능한 이미지 압축 프레임워크에 통합되었을 때, TCAE는 이전의 딥러닝 기반 접근법보다 비율-왜곡 성능에서 뛰어난 성능을 발휘한다.
• 컷오프 컨볼루션 메커니즘은 과도한 연산을 제거함으로써 계산 복잡도를 효과적으로 줄이고 맥락 모델링 정확도를 유지한다.
• 모든 기호에 대해 단일 순방향 전파를 통해 추론함으로써 기호를 독립적으로 처리하는 방법 대비 뚜렷한 속도 향상을 이룬다.
• 이 아키텍처는 손실 없는 압축과 손실 가능한 압축 작업 모두에 걸쳐 강력한 일반화 능력을 보이며, 이는 그 견고성과 확장성의 증거이다.