[論文レビュー] Coding in the fork network in the framework of Kolmogorov complexity

Andrei Romashchenko|arXiv (Cornell University)|Feb 8, 2016

Computability, Logic, AI Algorithms参考文献 8被引用数 4

ひとこと要約

この論文は、コルモゴロフ複雑度を用いて、ネットワーク符号化における許容可能なレートのウルフの特徴付けの、アルゴリズム的情報理論的対応を確立する。k個の相関するソースと補助文字列bを有するフォークネットワークに対して、任意のソース部分集合Wについて、r_jの和がbを含む条件付きコルモゴロフ複雑度の下界を満たす場合、すべてのソースが圧縮され、独立に符号化された断片から対数的誤差複雑度で効率的に再構築可能であることを示す。

ABSTRACT

Many statements from the classic information theory (the theory of Shannon's entropy) have natural counterparts in the algorithmic information theory (in the framework of Kolmogorov complexity). In this paper we discuss one simple instance of the parallelism between Shannon's and Kolmogorov's theories: we prove in the setting of Kolmogorov complexity a version of Wolf's characterization of admissible rates for the fork network.

研究の動機と目的

• シャノンの情報理論におけるスレピアン＝ウルフの定理を、コルモゴロフ複雑度を用いたアルゴリズム的情報理論フレームワークへと拡張すること。
• ソースが独立に符号化され、補助情報を利用して共同で再構築されるフォークネットワークにおける許容可能な符号化レートを特徴付けること。
• 任意のソース部分集合についてレートの和が補助文字列bを含む条件付きコルモゴロフ複雑度の下界を満たす場合、最適圧縮レートが達成可能であることを証明すること。
• 再構築誤差複雑度がO(log n)で有界であることを確立し、送信者と受信者の間で共有された乱数が存在しないにもかかわらず、効率的な復号が保証されること。

提案手法

• ソースをバイナリ文字列としてモデル化し、符号化を最小記述長による圧縮として定式化することで、コルモゴロフ複雑度フレームワーク内でのフォークネットワーク符号化問題を形式化する。
• 各ソースjの符号化メッセージ長が1シンボルあたりr_j以下であり、総誤差確率がε以下であるような許容可能なレートr_jを定義する。
• 各ソースa_jの圧縮表現a'_jを再帰的帰納的構成により構築し、各a'_jがa_jからO(log n)の追加複雑度で計算可能であることを保証する。
• コルモゴロフ＝レヴィンの定理と条件付き複雑度の上限を活用し、圧縮断片と補助文字列bから、O(log n)の誤差複雑度で同時ソース値を再構築可能であることを保証する。
• 任意のソース部分集合Wについて、K(a_W | a_{¬W}, b) + C log n ≤ ∑_{j∈W} r_j を満たすことで、レート制約が必要かつ十分であることを証明する。
• ハッシュに基づく技術を用いて圧縮表現を構築し、Slepian–Wolf符号化に類似した方法を、最小条件付き複雑度を持つアルゴリズム的設定で実現する。

実験結果

リサーチクエスチョン

• RQ1 ウルフによるSlepian–Wolfネットワーク符号化問題における許容可能なレートの特徴付けは、自然にコルモゴロフ複雑度の枠組みへと拡張可能か？
• RQ2 k個の相関するソースが独立に圧縮され、対数的誤差複雑度で共同で再構築可能となるような、レートr_jの条件は何か？
• RQ3 補助文字列bの存在が、アルゴリズム的ネットワーク符号化モデルにおけるレート制約と再構築効率にどのように影響を与えるか？
• RQ4 ソースと補助データに対して低い復号複雑度を維持しつつ、コルモゴロフ複雑度設定で最適圧縮レートを達成することは可能か？
• RQ5 圧縮表現の帰納的構成は、任意の相関構造と補助情報を持つk個のソースへと一般化可能か？

主な発見

• 任意のk個のソースa_1, ..., a_kと補助文字列bについて、任意の空でない部分集合Wについて∑_{j∈W} r_j ≥ K(a_W | a_{¬W}, b) + C₂ log n を満たすならば、長さ≤r_jである圧縮表現a'_jが存在し、それらを用いてすべてのソースをO(log n)の誤差複雑度で再構築可能である。
• 圧縮表現a'_jは、元のソースa_jからO(log n)の条件付き複雑度で計算可能であり、効率的な符号化を保証する。
• 同時ソース値(a_1, ..., a_k)は、圧縮断片(a'_1, ..., a'_k)とbからO(log n)の条件付き複雑度で再構築可能であり、堅牢な復号を保証する。
• レート制約は、|a'_j|の下界がK(a_j | b) − O(log n)であることから、対数的要因を除いてタイトであることが示され、漸近的に最適性が保証される。
• 帰納的構成は任意のk ≥ 1について有効であり、O(log n)の境界に現れる定数は、特定の文字列に依存せず、kと問題パラメータにのみ依存する。
• 結果として、Slepian–Wolfの定理がアルゴリズム的設定へと一般化され、コルモゴロフ複雑度においてもシャノンのエントロピー理論と同一のレート領域が達成可能であることが示された。