[論文レビュー] Arithmetic Distribution Matching

Sebastian Baur, Georg Böcherer|arXiv (Cornell University)|Aug 18, 2014

Algorithms and Data Compression参考文献 10被引用数 12

ひとこと要約

本稿では、算術符号化の原則を用いて、離散無記憶源（DMS）を入力長が増加するにつれて、目的のDMSに正確に再現するオンラインで可逆なアルゴリズム、Arithmetic Distribution Matching（ADM）を提案する。ADMは、入力長が増加するにつれて、正規化された情報的発散とエントロピー率が最適値に収束するため、オフラインのコードブック事前計算を必要とせず、効率的な確率的形状調整とレート適応が可能となる。

ABSTRACT

In this work, arithmetic distribution matching (ADM) is presented. ADM invertibly transforms a discrete memoryless source (DMS) into a target DMS. ADM can be used for probabilistic shaping and for rate adaption. Opposed to existing algorithms for distribution matching, ADM works online and can transform arbitrarily long input sequences. It is shown analytically that as the input length tends to infinity, the ADM output perfectly emulates the target DMS with respect to the normalized informational divergence and the entropy rate. Numerical results are presented that confirm the analytical bounds.

研究の動機と目的

• オフラインのコードブック計算を必要としないオンラインで可逆な分布マッピングアルゴリズムの開発。
• 通信システムにおける効率的な確率的形状調整とレート適応の実現。
• 正規化された情報的発散とエントロピー率という観点から、ADMの性能を理論的に分析すること。
• 数値シミュレーションを通じて解析的境界の妥当性を検証すること。
• 最適なオフラインマッチャーが非現実的となるような大規模な入力シーケンスにおいて、実用的でスケーラブルなソリューションの提供。

提案手法

• ADMは、入力シーケンスを変長出力シーケンスにマッピングするため、算術符号化の原則を用いる。
• アルゴリズムは、[0,1) 内でソースとターゲットの確率の区間表現を維持し、段階的に精度を高める。
• 各ステップで、ターゲット確率分布に一致する最大の部分区間を選択することで、可逆性を保証する。
• 最終的な出力区間は、最後の精錬ステップで得られる2つの候補区間の最大値として選択される。
• アルゴリズムは、ソース区間と最終コード区間の比が $1/(p_{\text{code}}(1-p_{\text{code}}))$ 以下に制限されることを保証する。
• ADMはオンラインで動作し、全コードブックの保存を必要とせず、ビット単位でシーケンスを処理する。

実験結果

リサーチクエスチョン

• RQ1 大規模なシーケンスに対して、オフラインコードブック計算を回避できるオンラインで可逆な分布マッチャーを設計可能か？
• RQ2 入力長が増加するにつれて、出力とターゲットDMS間の正規化された情報的発散はどのように変化するか？
• RQ3 ADM出力のエントロピー率は、ターゲットDMSのエントロピーに収束するか？
• RQ4 低複雑性とオンライン動作を維持しつつ、ADMは最適なオフラインマッチャーと同等の性能を達成できるか？
• RQ5 正規化発散の理論的上限は何か？ そして、それは漸近的に達成可能か？

主な発見

• 入力長 $n$ が無限大に近づくにつれて、ADM出力とターゲットDMS間の正規化された情報的発散はゼロに収束し、上界として $-\log_2(p_{\text{code}}(1-p_{\text{code}}))$ を有する。
• 入力長 $n$ が増加するにつれて、ADM出力のエントロピー率は、ターゲットDMSのエントロピー $\mathbb{H}(P_Z)$ に下からの収束を示す。
• $n = 10^4$ の場合、正規化発散は上界 $2.2515 \times 10^{-4}$ で制限され、強い漸近的収束が確認された。
• 数値結果により、最適なオフラインコードを繰り返し適用した場合でさえ、ADMは部分的に最適でないオンライン手法を上回ることが確認された。
• アルゴリズムは可逆であり、オンラインで動作するため、符号付き変調における確率的形状調整などの大規模応用に適している。
• 区間比 $I_{\text{src}}/I_{\text{code}}^{\text{final}} \leq 1/(p_{\text{code}}(1-p_{\text{code}}))$ の理論的上限は証明され、すべての入力に対して成立する。