[논문 리뷰] Parametric context adaptive Laplace distribution for multimedia compression

Jarek Duda|arXiv (Cornell University)|2019. 05. 28.

Advanced Data Compression Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 다중미디어 압축을 위한 매개변수화된 맥락 적응형 라플라스 분포를 제안하며, 이는 이산 맥락 양자화 대신 저차원 매개변수 모델(예: 4 또는 11개 매개변수)을 사용해 국소 맥락에 따라 척도 매개변수를 함수로 모델링한다. 이는 훨씬 더 작은 헤더 크기와 향상된 일반화 능력을 확보하면서도 LOCO-I의 365맥락 모델 수준의 성능을 달성하며, 더 높은 차원의 맥락을 지원하고 온라인 최소 제곱 최적화를 통한 적응형 매개변수 업데이트를 가능하게 한다.

ABSTRACT

Data compression often subtracts prediction and encodes the difference (residue) e.g. assuming Laplace distribution, for example for images, videos, audio, or numerical data. Its performance is strongly dependent on the proper choice of width (scale parameter) of this parametric distribution, can be improved if optimizing it based on local situation like context. For example in popular LOCO-I \cite{loco} (JPEG-LS) lossless image compressor there is used 3 dimensional context quantized into 365 discrete possibilities treated independently. This article discusses inexpensive approaches for exploiting their dependencies with autoregressive ARCH-like context dependent models for parameters of parametric distribution for residue, also evolving in time for adaptive case. For example tested such 4 or 11 parameter models turned out to provide similar performance as 365 parameter LOCO-I model for 48 tested images. Beside smaller headers, such reduction of number of parameters can lead to better generalization. In contrast to context quantization approaches, parameterized models also allow to directly use higher dimensional contexts, for example using information from all 3 color channels, further pixels, some additional region classifiers, or from interleaving multi-scale scanning - for which there is proposed Haar upscale scan combining advantages of Haar wavelets with possibility of scanning exploiting local contexts.

연구 동기 및 목표

• 손실 압축에서 잔차 인코딩을 위한 맥락 적응형 모델의 매개변수 수를 줄이고, 이산 맥락 양자화에 따른 높은 헤더 비용을 피하기 위해.
• 압축 효율성을 향상시키기 위해 다중채널, 다중스케일 등의 고차원 맥락(예: 다중채널, 다중스케일)을 매개변수 모델링에 활용할 수 있도록 하기 위해.
• 지속적인 데이터 통계 변화를 반영할 수 있는 저비용의 적응형 매개변수 추정 기법을 개발하여 비정상적인 시계열 모델링을 지원하기 위해.
• 매개변수 모델이 이산 맥락 모델(예: LOCO-I)과 동등하거나 이를 초월하는 성능을 달성하면서도 훨씬 적은 매개변수를 사용할 수 있음을 입증하기 위해.

제안 방법

• 최소 제곱 추정을 사용해 맥락 특징의 선형 함수로 라플라스 분포의 척도 매개변수를 모델링하여 효율적인 매개변수 피팅을 구현한다.
• 자기회귀적이고 ARCH 유사한 모델을 사용해 매개변수를 맥락 의존적으로 만들며, 이웃한 맥락 간의 의존성을 활용한다.
• 다중스케일 스캐닝과 국소 맥락 활용을 결합한 하르 업스케일 스캔 방법을 제안하여 고차원 맥락을 효과적으로 처리한다.
• 지수 가중 이동 평균과 온라인 최소 제곱 회귀를 사용해 변화하는 매개변수 추세를 추정함으로써 온라인 매개변수 적응을 구현한다.
• 손실 함수의 기울기 이력에 포물선 피팅 방법을 적용해 손실 함수의 최소값을 추정함으로써, 전체 재최적화 없이도 연속적인 매개변수 업데이트를 가능하게 한다.
• 신뢰 인자 α로 제어되는 혼합 업데이트 규칙을 도입하여 추정된 최소값과 현재 매개변수를 조합함으로써 안정성과 반응성의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 365개 이하의 매개변수를 가진 매개변수 모델이 LOCO-I의 이산 맥락 모델과 동등한 압축 성능을 달성할 수 있는가?
• RQ2 저차원 매개변수 함수가 다양한 이미지 유형에서 맥락 의존성 라플라스 척도 매개변수를 얼마나 잘 모델링할 수 있는가?
• RQ3 헤더 크기나 계산 비용을 증가시키지 않고도 온라인 매개변수 적응이 압축 효율성을 향상시킬 수 있는가?
• RQ4 매개변수 모델링에서 고차원 맥락(예: 다중채널, 다중스케일)을 사용할 경우 어떤 영향을 미치는가?
• RQ5 진행 중인 매개변수 추정에서 손실 최소화를 위한 온라인 포물선 기반 최적화 방법의 효과는 어떠한가?

주요 결과

• 4매개변수 및 11매개변수 매개변수 모델이 48개의 회색조 이미지에서 LOCO-I의 365맥락 모델과 동등한 압축 성능을 달성한다.
• 이중 이산 맥락 테이블을 작고 효율적인 매개변수 함수로 대체함으로써 헤더 크기를 크게 줄였으며, 이는 일반화 능력 향상에도 기여한다.
• 다중채널 또는 다중스케일 스캐닝에서 유도된 고차원 맥락은 이산 양자화와 달리 매개변수 모델을 통해 직접 활용할 수 있다.
• 지수 가중 이동 평균과 기울기 추세 추정을 사용한 온라인 매개변수 적응은 복잡도가 낮은 효과적인 모델 업데이트를 가능하게 한다.
• 포물선 기반 최적화 방법은 전체 재최적화 없이도 안정적이고 연속적인 매개변수 업데이트 메커니즘을 제공한다.
• 최소 제곱 추정을 통한 모델 매개변수 추정은 최소한의 계산 오버헤드로 최적에 가까운 성능를 달성하여 실시간 압축에 실용적이다.