[論文レビュー] Optimal encoding on discrete lattice with translational invariant constrains using statistical algorithms

Jarek Duda|ArXiv.org|Oct 20, 2007

Cellular Automata and Applications参考文献 9被引用数 14

ひとこと要約

本稿では、並進不変制約を持つ離散格子における漸近的に最適な符号化のための統計的アルゴリズムフレームワークを提示する。最大エントロピー確率的ウォークと、非対称数字系（asymmetric numeral systems, ANS）と呼ばれる数進法の新しい一般化を用いることで、容量に非常に近いデータ圧縮を実現する。ハードスクエア模型では、理論的最大値から10⁻¹⁰ビット/ノード以内の容量を達成し、暗号化および誤り訂正機能を内蔵した算術符号の実用的代替手段を提供する。

ABSTRACT

In this paper will be presented methodology of encoding information in valuations of discrete lattice with some translational invariant constrains in asymptotically optimal way. The method is based on finding statistical description of such valuations and changing it into statistical algorithm, which allows to construct deterministically valuation with given statistics. Optimal statistics allow to generate valuations with uniform distribution - we get maximum information capacity this way. It will be shown that we can reach the optimum for one-dimensional models using maximal entropy random walk and that for the general case we can practically get as close to the capacity of the model as we want (found numerically: lost 10^{-10} bit/node for Hard Square). There will be also presented simpler alternative to arithmetic coding method which can be used as cryptosystem and data correction method too.

研究の動機と目的

• 並進不変制約を満たす離散格子における情報符号化を、漸近的に最適なレートで行うための手法を開発すること。
• 有効な配置の集合上で一様分布を示す格子評価の統計的記述を確立し、情報容量を最大化すること。
• 所望の統計的性質を持つ評価を生成する実用的で決定論的なアルゴリズムを提供し、高効率なデータ符号化を可能にすること。
• 非対称数字系を用いて、算術符号の代替手段として暗号的に安全で誤り耐性を持つものとして提供すること。
• 「妥当な」モデルでは長距離相関が消えることを示し、整合性のあるエントロピーと最適な統計的記述の定義を可能にすること。

提案手法

• 一次元モデルにおける最大エントロピー確率的ウォークの使用により、最適な統計的記述を解析的に導出し、容量を完全に達成すること。
• 効率的かつ単一テーブルによる圧縮・展開を可能にする非対称数字系（ANS）への数進法の一般化。
• 局所的制約から導かれる遷移行列の主要固有ベクトルを計算するためのパワー法の適用により、格子領域の確率的評価が可能になる。
• アルゴリズムの振る舞いを元の確率分布に戻す固定点反復プロセスを用いた、統計的記述の反復的改善。
• 有限記憶（a,b）を持つ一様なストリップへの格子のストラップベースの分解により、局所的マルコフ過程を用いたグローバル統計の数値的近似が可能になる。
• 境界初期化にゼロ拡張ストラップを用いることで、端効果を最小限に抑え、目的の統計的分布への収束を向上させること。

実験結果

リサーチクエスチョン

• RQ1 並進不変制約下で、すべての有効な配置上で一様分布を示す格子評価を生成できる統計的アルゴリズムを構築できるか？
• RQ2 数値的統計的記述と反復的改善を用いることで、制約付き格子モデルの情報容量はどの程度まで到達できるか？
• RQ3 非対称数字系は、制約付き格子符号化において実用的で安全かつ誤り耐性を持つ算術符号の代替手段として機能できるか？
• RQ4 すべての有効な配置における平均統計的記述が存在する条件は何か？ また、それは長距離相関の消失とどのように関係するか？
• RQ5 有限範囲かつ並進不変制約を持つ一般の格子モデルのエントロピーは、どのように意味的に定義され、計算可能か？

主な発見

• 一次元の場合、最大エントロピー確率的ウォークを用いて最適な統計的記述を解析的に導出し、容量を完全に達成した。
• 二次元のハードスクエア模型では、数値的に確認された結果、理論的最大値から10⁻¹⁰ビット/ノード以内の容量を達成した。
• 非対称数字系の使用により、内蔵された暗号化および誤り訂正機能を備えた高速で単一テーブルによる圧縮・展開が可能になった。
• 反復的アルゴリズムは固定点への収束を示し、推定エントロピーと真のエントロピーの差が、ストラップ記憶（a,b）の増加に従って対数的に減少した。
• a=5, b=5の場合、真のエントロピーからの差はわずか10⁻⁸·⁷²ビット/ノードにまで減少し、ほぼ最適な性能を示した。
• 本稿では、境界効果を最小限に抑えるためにゼロ拡張ストラップを用いた実用的な初期化スキームを提供し、目的の統計的分布への収束を保証した。