[论文解读] Dynamic Programming for Discrete Memoryless Channel Quantization.

Xuan He, Kui Cai+2 more|arXiv (Cornell University)|Jan 7, 2019

Error Correcting Code Techniques参考文献 23被引用 13

一句话总结

本文提出了一种用于离散无记忆信道（DMC）量化动态规划（DP）框架，通过SMAWK算法和迭代DP（IDP）降低复杂度。该方法在信道转移概率满足充分条件时，可实现低复杂度量化器设计，以最大化$α$-互信息，仿真结果表明其性能优于现有最先进方法。

ABSTRACT

In this paper, we present a general framework for applying dynamic programming (DP) to discrete memoryless channel (DMC) quantization. The DP has complexity $O(q (N-M)^2 M)$, where $q$, $N$, and $M$ are alphabet sizes of the DMC input, DMC output, and the quantizer output, respectively. Then, starting from the quadrangle inequality (QI), we apply two techniques to reduce the DP's complexity. One technique makes use of the SMAWK algorithm with complexity $O(q (N-M) M)$, while the other technique is much easier to be implemented and has complexity $O(q (N^2 - M^2))$. Next, we give a sufficient condition on the channel transition probability, under which the two low-complexity techniques can be applied for designing quantizers that maximize the $\alpha$-mutual information, which is a generalized objective function for channel quantization. This condition works for the general $q$-ary input case, including the previous work for $q = 2$ as a subcase. Moreover, we propose a new idea, called iterative DP (IDP). Theoretical analysis and simulation results demonstrate that IDP can improve the quantizer design over the state-of-the-art methods in the literature.

研究动机与目标

• 开发一种用于离散无记忆信道量化的一般性动态规划方法，以降低计算复杂度。
• 利用SMAWK算法和一种更简单、可实现的技术，降低DP算法的复杂度。
• 确定信道转移概率的充分条件，以支持低复杂度技术在$α$-互信息最大化中的应用。
• 提出迭代DP（IDP）作为一种新方法，以超越现有最先进方法的量化器设计性能。

提出的方法

• 本文将DMC量化建模为动态规划问题，时间复杂度为$O(q (N-M)^2 M)$，其中$q$、$N$和$M$分别为输入、输出和量化器字母表的大小。
• 通过在代价函数中利用四边形不等式（QI），应用SMAWK算法将复杂度降低至$O(q (N-M) M)$。
• 第二种更简单的方法将复杂度降低至$O(q (N^2 - M^2))$，实现更易部署，但性能略逊于SMAWK。
• 本文提出迭代DP（IDP），一种新颖方法，通过迭代优化提升量化器设计的收敛性和性能。
• 推导出信道转移概率矩阵的充分条件，以确保四边形不等式的有效性，从而支持低复杂度DP技术的应用。
• 该框架旨在最大化$α$-互信息，即信道量化的一般化目标函数。

实验结果

研究问题

• RQ1 动态规划能否在降低复杂度的前提下有效应用于DMC量化？
• RQ2 在何种信道转移概率条件下，可保证四边形不等式成立，从而通过SMAWK实现复杂度降低？
• RQ3 所提出的迭代DP（IDP）方法如何优于现有量化器设计技术？
• RQ4 与标准DP相比，所提出的低复杂度DP变体在理论和实际性能上分别有何提升？
• RQ5 所提出的框架能否推广至$q$-元输入信道，包括二元输入作为特例？

主要发现

• 所提出的DP框架实现复杂度$O(q (N-M)^2 M)$，为DMC量化提供了基线。
• 通过SMAWK算法，复杂度降低至$O(q (N-M) M)$，显著提升了效率。
• 一种更简单的方法将复杂度降低至$O(q (N^2 - M^2))$，在性能与实现便捷性之间提供了实用的折中方案。
• 推导出信道转移概率的充分条件，确保四边形不等式有效，从而支持一般$q$-元输入下的低复杂度方法应用。
• 理论分析与仿真结果均表明，迭代DP（IDP）在$α$-互信息最大化方面优于现有最先进量化器设计方法。
• 该框架推广了以往针对二元输入（$q=2$）的工作，并将其扩展至任意$q$-元输入信道。