[论文解读] Dynamic Programming for Sequential Deterministic Quantization of Discrete Memoryless Channels

Xuan He, Kui Cai+2 more|arXiv (Cornell University)|Jan 7, 2019

Error Correcting Code Techniques参考文献 26被引用 4

一句话总结

本文提出了一种动态规划（DP）框架，用于在一般代价函数 C 下，针对 q 元输入离散无记忆信道（DMCs）设计最优顺序确定性量化器（SDQs）。通过 SMAWK 算法和一种更简单的技术实现复杂度降低，适用于 α-互信息最大化及实际的 PAM 系统。

ABSTRACT

In this paper, under a general cost function $C$, we present a dynamic programming (DP) method to obtain an optimal sequential deterministic quantizer (SDQ) for $q$-ary input discrete memoryless channel (DMC). The DP method has complexity $O(q (N-M)^2 M)$, where $N$ and $M$ are the alphabet sizes of the DMC output and quantizer output, respectively. Then, starting from the quadrangle inequality, two techniques are applied to reduce the DP method's complexity. One technique makes use of the Shor-Moran-Aggarwal-Wilber-Klawe (SMAWK) algorithm and achieves complexity $O(q (N-M) M)$. The other technique is much easier to be implemented and achieves complexity $O(q (N^2 - M^2))$. We further derive a sufficient condition under which the optimal SDQ is optimal among all quantizers and the two techniques are applicable. This generalizes the results in the literature for binary-input DMC. Next, we show that the cost function of $α$-mutual information ($α$-MI)-maximizing quantizer belongs to the category of $C$. We further prove that under a weaker condition than the sufficient condition we derived, the aforementioned two techniques are applicable to the design of $α$-MI-maximizing quantizer. Finally, we illustrate the particular application of our design method to practical pulse-amplitude modulation systems.

研究动机与目标

• 开发一种高效的动态规划方法，用于在 q 元输入离散无记忆信道（DMCs）中实现最优顺序确定性量化（SDQ）设计。
• 通过四边形不等式和两种优化技术（SMAWK 算法和一种更简单的启发式方法），降低基于 DP 的 SDQ 设计的计算复杂度。
• 推导出一个充分条件，使得最优 SDQ 在所有量化器中全局最优，推广了先前针对二元输入结果的结论。
• 证明 α-互信息（α-MI）最大化属于代价函数类 C，从而可应用所提出的框架。
• 在实际通信系统中展示其适用性，特别是针对 AWGN 和 NVM 信道中的脉冲幅度调制（PAM）系统。

提出的方法

• 提出一种动态规划公式，通过参数化阈值 λ₀=0 < λ₁ < ... < λₘ=N 来计算最优 SDQ。
• 采用代价函数 C(Q)，该函数广义化了互信息及其他散度度量，具有广泛适用性。
• 将四边形不等式（QI）应用于代价函数，以通过 SMAWK 算法实现复杂度降低。
• 引入两种复杂度降低技术：一种利用 SMAWK 算法实现 O(q(N−M)M) 的复杂度，另一种更简单的方法实现 O(q(N²−M²)) 的复杂度。
• 通过分析代价函数的结构及其次模性性质，推导出 SDQ 全局最优的充分条件。
• 证明 α-互信息（α-MI）最大化满足复杂度降低技术适用的条件，且该条件弱于充分条件。

实验结果

研究问题

• RQ1 能否在一般代价函数下，高效计算 q 元输入 DMCs 的最优顺序确定性量化器（SDQ）？
• RQ2 在何种条件下，可利用 SMAWK 算法降低基于 DP 的 SDQ 设计的计算复杂度？
• RQ3 α-互信息（α-MI）最大化量化器设计是否与所提出的 DP 及复杂度降低框架兼容？
• RQ4 在何种充分条件下，最优 SDQ 在所有可能的量化器中全局最优？
• RQ5 所提出的方法如何应用于实际通信系统，如 AWGN 和 NVM 信道中的基于 PAM 的调制系统？

主要发现

• 所提出的 DP 方法在 q 元输入 DMCs 中实现最优 SDQ 设计，计算复杂度为 O(q(N−M)²M)。
• 通过使用 SMAWK 算法，复杂度降低至 O(q(N−M)M)，显著提升了大规模 N 和 M 下的效率。
• 一种更简单的复杂度降低技术实现 O(q(N²−M²)) 的复杂度，提供了性能与实现简便性之间的实用权衡。
• 推导出一个充分条件，使得最优 SDQ 在所有量化器中全局最优，推广了先前针对二元输入的结果。
• 证明 α-互信息（α-MI）代价函数与框架兼容，且复杂度降低技术在弱于充分条件的条件下仍适用。
• 该方法在实际系统中得到验证，如 AWGN 和非易失性存储器（NVM）信道中的基于 PAM 的调制系统，证明了其在现实世界中的相关性。