[論文レビュー] Parametric context adaptive Laplace distribution for multimedia compression

Jarek Duda|arXiv (Cornell University)|May 28, 2019

Advanced Data Compression Techniques参考文献 12被引用数 5

ひとこと要約

本稿では、マルチメディア圧縮のためのパラメトリックな文脈適応ラプラス分布を提案する。スケールパラメータを局所的文脈の関数としてモデル化するが、離散的文脈量子化の代わりに低次元のパラメトリックモデル（例：4または11パラメータ）を用いる。LOCO-Iの365文脈モデルと同等の性能を達成するが、ヘッダーサイズを著しく削減し、一般化性能を向上させる。また、高次元の文脈を扱えるとともに、オンライン最小二乗最適化によるパrameterの適応的更新が可能となる。

ABSTRACT

Data compression often subtracts prediction and encodes the difference (residue) e.g. assuming Laplace distribution, for example for images, videos, audio, or numerical data. Its performance is strongly dependent on the proper choice of width (scale parameter) of this parametric distribution, can be improved if optimizing it based on local situation like context. For example in popular LOCO-I \cite{loco} (JPEG-LS) lossless image compressor there is used 3 dimensional context quantized into 365 discrete possibilities treated independently. This article discusses inexpensive approaches for exploiting their dependencies with autoregressive ARCH-like context dependent models for parameters of parametric distribution for residue, also evolving in time for adaptive case. For example tested such 4 or 11 parameter models turned out to provide similar performance as 365 parameter LOCO-I model for 48 tested images. Beside smaller headers, such reduction of number of parameters can lead to better generalization. In contrast to context quantization approaches, parameterized models also allow to directly use higher dimensional contexts, for example using information from all 3 color channels, further pixels, some additional region classifiers, or from interleaving multi-scale scanning - for which there is proposed Haar upscale scan combining advantages of Haar wavelets with possibility of scanning exploiting local contexts.

研究の動機と目的

• 損失なし圧縮における残差符号化の文脈適応モデルにおけるパラメータ数を削減し、離散的文脈量子化に伴う高コストなヘッダーを回避すること。
• より高次元の文脈（例：マルチチャネル、マルチスケール）を、パラメトリック分布モデルで効果的に活用し、圧縮効率を向上させること。
• 局所的データ統計に応じて進化する低コストで適応的なパrameter推定手法を開発し、非定常時系列のモデリングを可能とすること。
• パラメトリックモデルが、LOCO-Iのような離散的文脈モデルと同等またはそれ以上の性能を達成できることを示すこと。また、その際、使用するパラメータ数ははるかに少ないこと。

提案手法

• ラプラス分布のスケールパラメータを、文脈特徴の線形関数としてモデル化し、効率的なパラメータ適合のための最小二乗推定を用いる。
• 自己回帰的でARCHに類似したモデルを用いて、パラメータを文脈依存にし、隣接する文脈間の依存関係を活用する。
• 高次元の文脈を扱うために、マルチスケールスキャンと局所的文脈の活用を組み合わせた「ハールアップスケールスキャン法」を提案する。
• 指数的重み付き移動平均とオンライン最小二乗回帰を用いて、進化するパラメータトレンドを推定することで、オンラインでのパラメータ適応を実装する。
• 勾配履歴に放物線フィッティングを適用し、損失関数の最小値を推定することで、完全な再最適化なしに連続的なパラメータ更新を可能にする。
• 信頼係数αで制御されるハイブリッド更新ルールを採用し、推定最小値と現在のパラメータを融合することで、安定性と応答性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 365パラメータ未満のパラメトリックモデルが、LOCO-Iの離散的文脈モデルと同等の圧縮性能を達成できるか？
• RQ2 低次元のパラメトリック関数が、多様な画像タイプにわたり、文脈依存のラプラススケールパラメータをどれほど適切にモデル化できるか？
• RQ3 指数的重み付き移動平均と勾配トレンド推定を用いたオンラインパラメータ適応が、ヘッダーサイズや計算コストを増加させることなく、圧縮効率を向上させられるか？
• RQ4 パラメトリック分布モデリングにおいて、高次元の文脈（例：マルチチャネル、マルチスケール）を用いることで得られる影響は何か？
• RQ5 進化するパラメータ推定における損失関数最小化に向けたオンライン放物線ベース最適化法の有効性はいかがなものか？

主な発見

• 4パラメータおよび11パラメータのパラメトリックモデルが、48枚のグレースケール画像を対象に、LOCO-Iの365文脈モデルと同等の圧縮性能を達成した。
• 離散的文脈テーブルの代わりにコンactなパラメトリック関数を用いることで、ヘッダーサイズを顕著に削減し、一般化性能が向上した。
• マルチチャネルやマルチスケールスキャンからの高次元の文脈は、パラメトリックモデルを用いることで直接活用可能であるが、離散的量子化では困難である。
• 指数的重み付き移動平均と勾配トレンド推定を用いたオンラインパラメータ適応により、圧縮中に効果的で低コストなモデル更新が可能となった。
• 放物線ベースの最適化法は、完全な再最適化を回避しつつ、安定的で連続的なパラメータ更新メカニズムを提供した。
• 最小二乗推定によるモデルパラメータの推定は、最小限の計算オーバーヘッドでほぼ最適な性能を達成でき、リアルタイム圧縮に実用的である。