[论文解读] Parametric context adaptive Laplace distribution for multimedia compression

Jarek Duda|arXiv (Cornell University)|May 28, 2019

Advanced Data Compression Techniques参考文献 12被引用 5

一句话总结

本文提出了一种参数化上下文自适应拉普拉斯分布用于多媒体压缩，将尺度参数建模为局部上下文的函数，采用低维参数模型（例如4或11个参数）代替离散上下文量化。该方法在显著减少头信息大小并提升泛化能力的同时，实现了与LOCO-I的365上下文模型相当的性能，同时支持更高维上下文和通过在线最小二乘优化实现的自适应参数更新。

ABSTRACT

Data compression often subtracts prediction and encodes the difference (residue) e.g. assuming Laplace distribution, for example for images, videos, audio, or numerical data. Its performance is strongly dependent on the proper choice of width (scale parameter) of this parametric distribution, can be improved if optimizing it based on local situation like context. For example in popular LOCO-I \cite{loco} (JPEG-LS) lossless image compressor there is used 3 dimensional context quantized into 365 discrete possibilities treated independently. This article discusses inexpensive approaches for exploiting their dependencies with autoregressive ARCH-like context dependent models for parameters of parametric distribution for residue, also evolving in time for adaptive case. For example tested such 4 or 11 parameter models turned out to provide similar performance as 365 parameter LOCO-I model for 48 tested images. Beside smaller headers, such reduction of number of parameters can lead to better generalization. In contrast to context quantization approaches, parameterized models also allow to directly use higher dimensional contexts, for example using information from all 3 color channels, further pixels, some additional region classifiers, or from interleaving multi-scale scanning - for which there is proposed Haar upscale scan combining advantages of Haar wavelets with possibility of scanning exploiting local contexts.

研究动机与目标

• 减少在无损压缩中残差编码的上下文自适应模型中的参数数量，避免离散上下文量化带来的高头信息开销。
• 在参数化分布建模中支持更高维上下文（例如多通道、多尺度）以提升压缩效率。
• 开发低成本、自适应的参数估计技术，使其能随局部数据统计特性动态演化，支持非平稳时间序列建模。
• 证明参数化模型可达到或超越LOCO-I等离散上下文模型的性能，同时使用远少的参数。

提出的方法

• 将拉普拉斯分布的尺度参数建模为上下文特征的线性函数，利用最小二乘估计实现高效参数拟合。
• 采用自回归、类似ARCH的模型使参数依赖于上下文，从而利用相邻上下文之间的依赖关系。
• 提出一种哈尔上采样扫描方法，结合多尺度扫描与局部上下文利用，以处理高维上下文。
• 通过指数加权移动平均和在线最小二乘回归实现在线参数自适应，以估计随时间演化的参数趋势。
• 采用抛物线拟合梯度历史的方法，以估计损失函数的最小值，实现在无需完整重优化的情况下连续更新参数。
• 使用混合更新规则，将估计的最小值与当前参数结合，由信任因子α控制，以平衡稳定性与响应速度。

实验结果

研究问题

• RQ1 参数化模型在参数少于365个的情况下，能否实现与LOCO-I离散上下文模型相当的压缩性能？
• RQ2 低维参数函数在多种图像类型中对上下文相关拉普拉斯尺度参数的建模效果如何？
• RQ3 在线参数自适应是否能在不增加头信息大小或计算成本的前提下提升压缩效率？
• RQ4 在参数化分布建模中使用更高维上下文（如多通道、多尺度）的影响是什么？
• RQ5 基于抛物线的在线优化方法在最小化演化参数估计中的损失时，其有效性如何？

主要发现

• 4参数和11参数的参数化模型在48幅测试的灰度图像上实现了与LOCO-I的365上下文模型相当的压缩性能。
• 通过用紧凑的参数函数替代离散上下文表，所提模型显著减少了头信息大小，同时提升了泛化能力。
• 与离散量化不同，参数化模型可直接利用多通道或多尺度扫描产生的高维上下文。
• 利用指数加权移动平均和梯度趋势估计的在线参数自适应，可在压缩过程中实现高效且低成本的模型更新。
• 基于抛物线的优化方法提供了一种稳定且连续的参数更新机制，避免了每一步的完整重优化。
• 最小二乘法估计模型参数可实现接近最优的性能，且计算开销极低，适用于实时压缩。