[論文レビュー] Dynamic Programming for Discrete Memoryless Channel Quantization.

Xuan He, Kui Cai+2 more|arXiv (Cornell University)|Jan 7, 2019

Error Correcting Code Techniques参考文献 23被引用数 13

ひとこと要約

本稿では、SMAWKアルゴリズムと反復的動的計画法（IDP）を用いて複雑性を低減する、離散的無記憶通信路（DMC）量子化のための動的計画法（DP）フレームワークを提案する。$α$-相互情報量を最大化する低複雑性の量子化器設計を可能にする遷移確率に関する十分条件を確立し、シミュレーションにおいて最先端の手法を上回る性能を示した。

ABSTRACT

In this paper, we present a general framework for applying dynamic programming (DP) to discrete memoryless channel (DMC) quantization. The DP has complexity $O(q (N-M)^2 M)$, where $q$, $N$, and $M$ are alphabet sizes of the DMC input, DMC output, and the quantizer output, respectively. Then, starting from the quadrangle inequality (QI), we apply two techniques to reduce the DP's complexity. One technique makes use of the SMAWK algorithm with complexity $O(q (N-M) M)$, while the other technique is much easier to be implemented and has complexity $O(q (N^2 - M^2))$. Next, we give a sufficient condition on the channel transition probability, under which the two low-complexity techniques can be applied for designing quantizers that maximize the $\alpha$-mutual information, which is a generalized objective function for channel quantization. This condition works for the general $q$-ary input case, including the previous work for $q = 2$ as a subcase. Moreover, we propose a new idea, called iterative DP (IDP). Theoretical analysis and simulation results demonstrate that IDP can improve the quantizer design over the state-of-the-art methods in the literature.

研究の動機と目的

• 計算複雑性を低減した一般の動的計画法アプローチを、離散的無記憶通信路（DMC）量子化に開発すること。
• SMAWKアルゴリズムとより単純で実装可能な手法を用いて、DPアルゴリズムの複雑性を低減すること。
• $α$-相互情報量最大化に低複雑性手法を適用可能にするための、通信路遷移確率に関する十分条件を同定すること。
• 既存の最先端手法を凌駕する量子化器設計を改善するための、反復的動的計画法（IDP）を新規に提案すること。

提案手法

• 本稿では、入力・出力・量子化器のアルファベットサイズをそれぞれ$q$、$N$、$M$として、時間計算量$O(q (N-M)^2 M)$の動的計画法問題としてDMC量子化を定式化する。
• コスト関数における四角不等式（QI）の性質を活用し、SMAWKアルゴリズムを適用することで、複雑性を$O(q (N-M) M)$に低減する。
• 第二のより単純な手法により、複雑性は$O(q (N^2 - M^2))$に低減され、実装が容易であるが、SMAWKに比べてやや性能が劣る。
• 本稿では、反復的動的計画法（IDP）を新規に導入し、反復的精錬によって量子化器設計の収束性と性能を向上させる。
• 四角不等式の有効性を保証する通信路遷移確率行列に関する十分条件を導出する。
• フレームワークは、$α$-相互情報量の最大化を目的とした一般化された目的関数を想定している。

実験結果

リサーチクエスチョン

• RQ1 複雑性を低減した動的計画法が、DMC量子化に効果的に適用可能か？
• RQ2 通信路遷移確率にどのような条件が満たされると、SMAWKによる複雑性低減が可能になる四角不等式が保証されるか？
• RQ3 提案された反復的動的計画法（IDP）は、既存の量子化器設計手法に比べてどのように向上を図るか？
• RQ4 低複雑性DPの変種は、標準DPと比較して理論的および実用的性能でどの程度の向上を示すか？
• RQ5 提案されたフレームワークは、$q$-値入力通信路、特に二値入力（$q=2$）を特殊ケースとして含む一般化が可能か？

主な発見

• 提案されたDPフレームワークは、$O(q (N-M)^2 M)$の複雑性を達成し、DMC量子化の基準としての役割を果たす。
• SMAWKアルゴリズムを用いることで、複雑性は$O(q (N-M) M)$に低減され、大幅な効率向上が達成された。
• より単純な手法により、複雑性は$O(q (N^2 - M^2))$に低減され、性能と実装のしやすさの間の実用的トレードオフを提供する。
• 通信路遷移確率行列に四角不等式の有効性を保証する十分条件が導出され、一般の$q$-値入力に対して低複雑性手法の適用が可能となった。
• 理論的分析とシミュレーションの両方で、反復的動的計画法（IDP）が、$α$-相互情報量最大化の観点で、既存の最先端手法を上回ることを確認した。
• 本フレームワークは、従来の二値入力（$q=2$）に関する研究を一般化し、任意の$q$-値入力通信路へと拡張した。