[论文解读] Entropy-Constrained Maximizing Mutual Information Quantization

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|Jan 7, 2020

Advanced Data Compression Techniques参考文献 20被引用 6

一句话总结

本文提出了一种多项式时间算法，用于在熵约束下找到使输入与量化输出之间互信息最大化的全局最优量化器，适用于二元输入信道。该方法利用动态规划高效求解NP难的划分问题，并通过证明单阈值最优性的充分条件，将结果扩展至连续输出信道。

ABSTRACT

In this paper, we investigate the quantization of the output of a binary input discrete memoryless channel that maximizing the mutual information between the input and the quantized output under an entropy-constrained of the quantized output. A polynomial time algorithm is introduced that can find the truly global optimal quantizer. These results hold for binary input channels with an arbitrary number of quantized output. Finally, we extend these results to binary input continuous output channels and show a sufficient condition such that a single threshold quantizer is an optimal quantizer. Both theoretical results and numerical results are provided to justify our techniques.

研究动机与目标

• 解决在熵约束下寻找全局最优量化器以最大化互信息的挑战，该问题此前仅限于局部最优解。
• 克服将 $M$ 个输出点划分为 $K$ 个子集时穷举搜索 ($O(K^M)$) 的计算不可行性。
• 为具有任意量化输出级别的二元输入信道提供全局最优解。
• 将框架扩展至连续输出的二元输入信道，并确定单阈值量化器最优的条件。
• 通过目标函数中的权衡参数 $\beta$ 平衡互信息最大化与熵最小化。

提出的方法

• 将优化问题表述为 $\max_Q \beta I(X;Z) - H(Z)$，等价于最小化 $\beta H(X|Z) + H(Z)$，其中 $\beta$ 控制权衡。
• 应用动态规划，状态 $D(i,j,k)$ 表示将索引从 $i$ 到 $j$ 的点划分为 $k$ 个聚类的最小代价。
• 使用递推关系 $D(i,j,k) = \min_{q \in [i,j]} \{ D(i,q,k-1) + D(q+1,j,1) \}$ 自底向上构建解。
• 通过存储的索引 $H_k(j)$ 进行回溯，重建计算DP表后的最优阈值。
• 对于连续信道，将问题简化为在似然比 $r(y) = p_{x_1|y}$ 中搜索标量阈值 $a^*$，时间复杂度为 $O(M)$。
• 证明若 $\phi_2(y)/\phi_1(y)$ 严格单调，则 $r(y)$ 严格单调，从而确保存在唯一最优阈值。

实验结果

研究问题

• RQ1 能否在多项式时间内为熵约束下的二元输入信道找到全局最优量化器？
• RQ2 所提出的动态规划方法是否能保证全局最优性，而传统迭代方法无法实现？
• RQ3 在何种条件下，单阈值量化器对连续输出的二元输入信道是最优的？
• RQ4 权衡参数 $\beta$ 如何影响量化输出中互信息与熵之间的平衡？
• RQ5 该方法能否在保持全局最优性与计算效率的前提下扩展至连续信道？

主要发现

• 所提出的动态规划算法在 $M$ 个输出点和 $K$ 个量化级别下，以 $O(KM^2)$ 时间实现二元输入信道的全局最优。
• 对于连续输出的二元输入信道，若似然比 $\phi_2(y)/\phi_1(y)$ 严格单调，则单阈值量化器最优。
• 数值结果表明，在高斯噪声信道下，当 $H(Z) \leq 1.18$ 时，最优 $\beta = 6$ 可得 $I^*(X;Z) = 0.87274$ 与 $H^*(Z) = 1.795$。
• 该算法通过避免局部最优解，优于迭代方法，表现为对全局解的一致收敛。
• 该方法具有可扩展性和高效性，时间复杂度显著低于 $O(K^M)$ 的穷举搜索。
• 通过单阈值最优性的充分条件，理论基础得到加强，推广了熵约束量化中先前的结果。