[論文レビュー] Lossless compression with state space models using bits back coding

James T. Townsend, Iain Murray|arXiv (Cornell University)|Mar 18, 2021

Gaussian Processes and Bayesian Inference参考文献 16被引用数 4

ひとこと要約

この論文では、状態空間モデル（SSMs）を用いて時系列データの無損失圧縮を実現する新規手法IconoCLaSMを提案する。ビットバックコーディングを時間ステップとインタリーブすることで、初期オーバーヘッドがO(1)に抑えられ、モデルのELBOに近い圧縮レートを達成する。この手法により、深層潜在変数モデルと組み合わせることで、動画などの時系列データに対する効率的でスケーラブルな圧縮が可能になる。

ABSTRACT

We generalize the 'bits back with ANS' method to time-series models with a latent Markov structure. This family of models includes hidden Markov models (HMMs), linear Gaussian state space models (LGSSMs) and many more. We provide experimental evidence that our method is effective for small scale models, and discuss its applicability to larger scale settings such as video compression.

研究の動機と目的

• 時系列データに潜在マルコフ構造がある場合、標準的なビットバックコーディングにおける高い初期ビットオーバーヘッドを解消すること。
• 潜在マルコフ連鎖でシーケンスをモデル化する状態空間モデル（SSMs）に、アンビエント・ナンバリング・システム（ANS）を用いたビットバック（BB-ANS）フレームワークを拡張すること。
• 時間ステップとビットバックコーディングステップをインタリーブすることで、初期オーバーヘッドをO(1)に削減し、長大なシーケンスに対する実用的でスケーラブルな無損失圧縮を実現すること。
• 長大なシーケンスにおいて、圧縮レートがモデルのELBOに収束することを示し、動画圧縮のような大規模応用に適していることを確認すること。
• 潜在マルコフ構造を持つHMM、LGSSM、および事後分布が解析的に計算可能な深層潜在変数モデルに一般化可能なフレームワークを提供すること。

提案手法

• 初期オーバーヘッドを低減するために、状態空間モデルにおける時間ステップとビットバックコーディングステップをインタリーブするIconoCLaSMを提案する。
• 要因分解された近似事後分布を要請する：$ Q(z_{1},\text{...},z_{T}|x_{1},\text{...},x_{T}) = Q(z_{T}|x_{1},\text{...},x_{T}) \prod_{t=1}^{T-1} Q(z_{t}|x_{1},\text{...},x_{t},z_{t+1}) $、これにより後向きサンプリングが可能になる。
• 条件付き分布に対するANSエンコーディングおよびデコーディングを、プッシュ／ポップ操作を用いて行う：$ x_t \rightarrow P(x_t|z_t) $、$ z_t \leftarrow Q(z_t|x_{1..t}, z_{t+1}) $、$ z_t \rightarrow P(z_t|z_{t-1}) $。
• エンコーディングの順序を逆順に設定する：$ z_T $ から始め、次に $ x_T $、$ z_{T-1} $、…、$ x_1 $、$ z_1 $ と進める。これによりエンコーディング中にビットバックが可能になる。
• デコーディングは順方向に進行する：$ z_1 \leftarrow P(z_1) $、$ x_1 \leftarrow P(x_1|z_1) $、…、$ z_T \rightarrow Q(z_T|x_{1..T}) $、これによりシーケンスが再構築される。
• 必要な事後分布条件付き確率を計算するためにメッセージスティングまたはRNNベースの推論を活用し、HMMや深層SSMへの適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 潜在マルコフ構造を持つ時系列モデルに、ビットバックコーディングを一般化することで、最小限の初期オーバーヘッドで近似的最適圧縮レートを達成できるか？
• RQ2 状態空間モデルにおけるインタリーブドビットバックコーディングを可能にするために、近似事後分布に必要な要因分解形式は何か？
• RQ3 IconoCLaSMの圧縮レートは、長大なシーケンスにおいても、ヴァニラBB-ANSと同様にELBOに収束するか？
• RQ4 深層潜在変数モデルと組み合わせた場合、IconoCLaSMはテキストや動画などの実世界の時系列データに適用可能か？
• RQ5 IconoCLaSMを階層モデルに拡張したり、モンテカルロ法と組み合わせてELBOを改善するには、実現可能か？

主な発見

• 長大なシーケンスにおいて、IconoCLaSMの圧縮レートは情報量 $ h(x) $ に収束し、近似的最適圧縮が達成される。
• 小さなHMMを用いた実験では、シーケンス長 $ T $ が増加するにつれて、圧縮メッセージ長と情報量の比 $ l(m)/h(x) $ は1に近づく。
• 合成データ（HMMからの正確なサンプル）および実データ（『戦争と平和』のテキスト）の両方において、圧縮レートがELBOに非常に近い値を達成している。
• 初期ビットオーバーヘッドはシーケンス長の増加に伴い減少し、オーバーヘッドがO(1)にスケーリングされることを示しており、スケーラビリティにとって極めて重要である。
• モデルがデータに完全に適合していない場合でも、英語テキストを別のテキストセグメントで学習したHMMを用いて圧縮した結果、本手法は有効であることが示された。
• 本フレームワークは一般性を有し、HMM、線形ガウスSSM、および事後分布が解析的に計算可能な深層潜在変数モデルに適用可能である。