[논문 리뷰] Enlarging Context with Low Cost: Efficient Arithmetic Coding with Trimmed Convolution

Mu Li, Shuhang Gu외 2명|arXiv (Cornell University)|2018. 01. 15.

Video Coding and Compression Technologies인용 수 4

한 줄 요약

이 논문은 실시간 인코딩을 가능하게 하는 고도로 효율적인 이미지 압축을 위한 삼각형 컨볼루션 산술부호화(TCAE)를 제안한다. TCAE는 공유된 계산을 통해 큰 컨텍스트를 모델링하기 위해 컷오프 컨볼루션을 사용하며, 병렬 디코딩을 위한 슬로프 TCAE를 추가로 도입하여 압축 손실이 크지 않은 상태에서 60배 이상의 속도 향상을 달성한다.

ABSTRACT

Arithmetic coding is an essential class of coding techniques. One key issue of arithmetic encoding method is to predict the probability of the current coding symbol from its context, i.e., the preceding encoded symbols, which usually can be executed by building a look-up table (LUT). However, the complexity of LUT increases exponentially with the length of context. Thus, such solutions are limited to modeling large context, which inevitably restricts the compression performance. Several recent deep neural network-based solutions have been developed to account for large context, but are still costly in computation. The inefficiency of the existing methods are mainly attributed to that probability prediction is performed independently for the neighboring symbols, which actually can be efficiently conducted by shared computation. To this end, we propose a trimmed convolutional network for arithmetic encoding (TCAE) to model large context while maintaining computational efficiency. As for trimmed convolution, the convolutional kernels are specially trimmed to respect the compression order and context dependency of the input symbols. Benefited from trimmed convolution, the probability prediction of all symbols can be efficiently performed in one single forward pass via a fully convolutional network. Furthermore, to speed up the decoding process, a slope TCAE model is presented to divide the codes from a 3D code map into several blocks and remove the dependency between the codes inner one block for parallel decoding, which can 60x speed up the decoding process. Experiments show that our TCAE and slope TCAE attain better compression ratio in lossless gray image compression, and can be adopted in CNN-based lossy image compression to achieve state-of-the-art rate-distortion performance with real-time encoding speed.

연구 동기 및 목표

• 큰 컨텍스트를 모델링할 때 기존의 룩업 테이블(LUT) 기반 산술부호화의 계산 비효율성을 해결한다.
• 딥러닝 기반 엔트로피 부호화에서 순차적 확률 예측의 한계를 극복하여 실시간 성능를 향상시킨다.
• 인코딩 순서와 컨텍스트 의존성을 고려하여 단일 프로퍼그레이션 내에서 모든 기호에 대한 완전히 컨볼루션 기반의 확률 예측을 효율적으로 수행한다.
• 3D 코드 매핑을 독립적인 블록으로 재구성하여 병렬 처리를 가능하게 함으로써 디코딩 속도를 가속화한다.
• 제안된 방법을 CNN 기반 손실 압축 파이프라인에 통합하여 실시간 인코딩 속도를 확보하면서도 비율-왜곡 성능을 향상시킨다.

제안 방법

• 인코딩되지 않은 기호를 컨텍스트에서 제외하기 위해 이진 마스크를 적용하는 컷오프 컨볼루션 연산을 도입하여 인코딩 순서 제약 조건을 유지한다.
• 이웃 기호들 간의 공유된 계산을 활용하여 단일 프로퍼그레이션 내에서 모든 기호의 동시 확률 예측을 수행하는 완전한 컨볼루션 네트워크 아키텍처를 설계한다.
• 입력 레이어뿐 아니라, 이미 인코딩된 컨텍스트 정보를 포함하고 있으므로 안전하게 포함시킬 수 있는 히든 특징 맵에도 컷오프 컨볼루션을 적용한다.
• 3D 코드 매핑을 좌표합(i+j+k=t) 기반으로 블록으로 분할하는 슬로프 TCAE 스케줄을 제안하여 각 블록 내에서의 독립성을 보장한다.
• 블록 간 의존성을 제거하여 병렬 디코딩을 가능하게 하며, 동시에 정확한 디코딩 순서를 유지한다.
• 각 점 (i,j,k) 가 이진 코드에 대응하는 3D 코드 매핑 표현 방식을 사용하며, 코드 블록을 i+j+k 값이 동일한 점들의 집합으로 정의한다.

실험 결과

연구 질문

• RQ1 컷오프 컨볼루션을 사용하는 완전한 컨볼루션 네트워크가 계산 효율성을 유지하면서도 큰 컨텍스트를 효율적으로 모델링할 수 있는가?
• RQ2 각 기호에 대해 개별 예측을 수행하는 것과 비교해 컷오프 컨볼루션을 사용할 경우 확률 예측의 효율성이 얼마나 향상되는가?
• RQ3 블록 분할을 통한 병렬 디코딩이 압축 비율을 손상시키지 않고 디코딩 과정을 얼마나 가속화할 수 있는가?
• RQ4 제안된 TCAE 및 슬로프 TCAE 방법이 CNN 기반 손실 압축 시스템에 효과적으로 통합되어 비율-왜곡 성능을 향상시킬 수 있는가?
• RQ5 표준 TCAE 및 이전의 엔트로피 부호화 방법과 비교했을 때 슬로프 TCAE를 사용할 경우 압축 효율성과 디코딩 속도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• TCAE는 Li 등 [4]의 컨볼루션 엔트로피 인코더 대비 약 7–20배의 인코딩 속도 향상을 기록했으며, 752×496×3 이미지에 대해 최소 0.166초의 인코딩 시간을 기록했다.
• 슬로프 TCAE는 94×68×64 코드 매핑에 대해 디코딩 시간을 0.62초로 줄여 TCAE 대비 60배 이상, 기준 인코더 대비 25배 이상의 속도 향상을 달성했다.
• 손실 없는 Grayscale 이미지 압축에서 TCAE 및 슬로프 TCAE는 PNG 및 JPEG2000-LS를 초월하여 고비트레이트에서 더 뛰어난 압축 비율을 기록했다.
• CNN 기반 손실 압축(예: [4])에 통합된 TCAE는 모든 테스트 비트레이트(bpp ≥ 0.4)에서 비율-왜곡 성능을 향상시켰으며, 경쟁 기법들을 능가했다.
• 슬로프 TCAE 모델은 실험에서 거의 무시할 수 있을 정도로 압축 비율의 경미한 감소만을 보였고, 이는 코드 블록 내 독립성 가정의 타당성을 검증한다.
• 표준 이미지 크기에서 근접한 실시간 인코딩(예: 25 fps)을 달성하여 실시간 시스템에 실용적으로 적용 가능하다.