[論文レビュー] Polar Coding for Processes with Memory

Eren Şaşoğlu, Ido Tal|arXiv (Cornell University)|Feb 4, 2016

Error Correcting Code Techniques参考文献 12被引用数 6

ひとこと要約

この論文は、ψ-混合性が有限なψ₀を満たす記憶過程に対して、極性符号が容量を達成することを確立している。標準的なArıkan変換が、O(2⁻ˣᵖᵗ(N)) のレートで極性を示すことを証明しており、これは記憶なしの場合と同等である。これにより、記憶を持つ実用的チャネルおよびソースの極性符号理論が拡張される。

ABSTRACT

We study polar coding for stochastic processes with memory. For example, a process may be defined by the joint distribution of the input and output of a channel. The memory may be present in the channel, the input, or both. We show that $ψ$-mixing processes polarize under the standard Arıkan transform, under a mild condition. We further show that the rate of polarization of the \emph{low-entropy} synthetic channels is roughly $O(2^{-\sqrt{N}})$, where $N$ is the blocklength. That is, essentially the same rate as in the memoryless case.

研究の動機と目的

• 記憶なしの極性符号理論を、記憶を持つ過程へと拡張すること。特に、通信および圧縮システムで現れる実用的システムを対象とする。
• 標準的なArıkan変換が記憶を持つ過程で極性を誘発する条件を確立すること。
• このような過程における低エントロピー合成チャネルの極性化レートを定量化すること。
• 反例（周期的過程）を構築することで制限を特定すること。これはψ-混合性が欠落しているため、極性化が成立しない。

提案手法

• G₂とビット反転行列のクリプカー積を用いた標準的なArıkan変換により、定常過程 (Xᵢ, Yᵢ) から合成チャネルを生成する。
• 有限なψ₀を満たすψ-混合性条件を適用し、過程における遠く離れた事象の漸近的独立性を保証する。
• バタチャリャリ・パラメータと相対エントロピーを用いて、変換された変数間の相互情報量を評価する。
• ピンスカーベの不等式とジェンセンの不等式を用い、エントロピーの差と周辺確率の差を関連付ける。
• 確率的変数Tを用いたカップリング論法により、相互情報量I(A+B; D)を評価し、エントロピー差の下界を導出する。
• 低エントロピー合成チャネルの極性化レートがO(2⁻ˣᵖᵗ(N))であることを確立し、記憶なしの場合と同等である。

実験結果

リサーチクエスチョン

• RQ1 標準的なArıkan変換が記憶を持つ確率過程で極性を誘発する条件は何か？
• RQ2 記憶を持つ過程における低エントロピー合成チャネルの極性化レートは定量的に評価可能であり、記憶なしの場合と一致するか？
• RQ3 ψ-混合性が有限なψ₀であることは、このような過程における極性化に対して必要かつ十分な条件か？
• RQ4 ψ-混合性を満たさない過程（例：周期的過程）に対して反例を構築し、極性化が成立しないことを示せるか？
• RQ5 チャネルまたはソースに記憶が存在する場合、極性符号の収束レートにどのような影響を与えるか？

主な発見

• 標準的なArıkan変換は、即時ψ-混合性（有限ψ₀を満たすψ-混合性）を持つ過程で極性を誘発する。これにより、極性符号理論が記憶を持つ広範なシステムへと拡張される。
• 低エントロピー合成チャネルの極性化レートはO(2⁻ˣᵖᵗ(N))であり、記憶なしのチャネルで観察される漸近的レートと一致する。
• ψ-混合性を満たさない周期的過程の反例は極性化に失敗し、ψ-混合性が極性化のための必要条件であることを示している。
• 証明技法は先行研究よりも単純であり、先行の結果よりも広範な過程のクラスに適用可能である。
• バタチャリャリ・パラメータと相対エントロピーを用いて、変換された変数間の相互情報量を評価し、レート解析を可能にしている。
• 解析により、二項変数の和とその条件付きバージョンとの間のエントロピー差がσ(ξ)の関数によって下界で抑えられ、定量的なレートバウンドが得られる。