[論文レビュー] Universal Polarization for Processes with Memory

Boaz Shuval, Ido Tal|arXiv (Cornell University)|Nov 14, 2018

Error Correcting Code Techniques参考文献 41被引用数 9

ひとこと要約

本稿は、周期的でなく、不可約で忘れられる非周期的かつ不可約な隠れマルコフモデル（HMM）を含む記憶付きプロセスのための普遍的偏極化フレームワークを提示する。2段階の極化符号化構成（遅い段階と速い段階）を導入し、アリカン変換を用いて、記憶付きプロセスの族全体にわたって誤り確率が消えるようにし、誤り指数は 2^{-\sqrt{\Lambda}} で、計算量は O(|S|^3 \Lambda \log \Lambda) である。

ABSTRACT

A transform that is universally polarizing over a set of channels with memory is presented. Memory may be present in both the input to the channel and the channel itself. Both the encoder and the decoder are aware of the input distribution, which is fixed. However, only the decoder is aware of the actual channel being used. The transform can be used to design a universal code for this scenario. The code is to have vanishing error probability when used over any channel in the set, and achieve the infimal information rate over the set. The setting considered is, in fact, more general: we consider a set of processes with memory. Universal polarization is established for the case where each process in the set: (a) has memory in the form of an underlying hidden Markov state sequence that is aperiodic and irreducible, and (b) satisfies a `forgetfulness' property. Forgetfulness, which we believe to be of independent interest, occurs when two hidden Markov states become approximately independent of each other given a sufficiently long sequence of observations between them. We show that aperiodicity and irreducibility of the underlying Markov chain is not sufficient for forgetfulness, and develop a sufficient condition for a hidden Markov process to be forgetful.

研究の動機と目的

• 符号化器がチャネルの完全な知識を持たないが入力分布を知っている記憶付きチャネルのための普遍的極化符号化方式を開発すること。
• 記憶のないチャネルにとどまらず、隠れマルコフ構造を持つプロセスへと偏極化理論を拡張すること。
• このようなプロセスが忘れられるようになる条件を確立し、普遍的偏極化を可能にすること。
• 誤り確率が消え、情報レートの下界に近づくという点で、族全体にわたって普遍的な性能を達成すること。

提案手法

• 2段階の極化符号化構成（遅い段階：普遍的エントロピー分割、速い段階：アリカン変換による偏極化）を提案する。
• 共通の入力分布と有界な忘れらしさおよび混合性を持つ、FAM s/oプロセス（有限アルファベット入力、記憶付き）の族を定義する。
• 「忘れらしさ」の性質を導入：2つの隠れ状態は、それらの間に長い観測系列がある場合、ほぼ独立になる。
• 確率的HMMの決定的同等物を定義することで、状態と観測の組み合わせ状態プロセスを導入し、マルコフ性を保つ。
• 隠れ状態の連鎖が非周期的かつ不可約であるならば、その組み合わせ（状態, 観測）連鎖に対しても同様に成り立つことを証明し、普遍的偏極化を保証する。
• 逐次キャンセレーションデコードを適用し、族全体にわたって誤り確率が 2^{-\Lambda^\beta} 以下（任意の \beta < 1/2）に抑えられることを示す。

実験結果

リサーチクエスチョン

• RQ1 記憶付きプロセス、特に隠れマルコフモデルに対して、普遍的偏極化を達成できるか？
• RQ2 隠れマルコフプロセスにどのような条件を課すと、システムが忘れられるようになり、普遍的符号化が可能になるか？
• RQ3 隠れ状態連鎖の非周期性と不可約性は、忘れらしさを保証するのに十分か、それ以上の条件が必要か？
• RQ4 2段階の極化符号化構成は、記憶付きプロセスの族全体にわたって、下界情報レートに普遍的に近づけるか？
• RQ5 このような普遍的符号の誤り指数と計算量は何か？

主な発見

• 提案された普遍的極化符号は、誤り確率が 2^{-\Lambda^\beta} 以下（任意の \beta < 1/2）に抑えられ、記憶付きプロセスの族全体にわたって誤り確率が消えることを達成する。
• 符号レートは、プロセス族全体の情報レートの下界 I* に近づき、最適レート性能を保証する。
• 非周期性と不可約性だけでは忘れらしさは保証されない。混合性と記憶の減衰に基づいた忘れらしさの十分条件が導出された。
• 2段階構成（遅い段階：普遍的エントロピー分割、速い段階：偏極化）は、アリカンのオリジナル極化符号と同等の誤り指数を達成する。
• 符号化およびデコードの計算量は O(|S|^3 \Lambda \log \Lambda) であり、|S| はプロセス族に含まれる任意のプロセスの最大状態数を表す。
• このフレームワークはチャネル符号とソース符号の両方へ適用可能であり、記憶のない設定にとどまらず、記憶付きプロセスへの普遍的偏極化を一般化する。