[论文解读] An Upgrading Algorithm with Optimal Power Law

Or Ordentlich, Ido Tal|arXiv (Cornell University)|Feb 26, 2020

Error Correcting Code Techniques参考文献 32被引用 2

一句话总结

本文提出了一种新颖的升级算法，通过将具有较大输出字母表的信道近似为输出大小为预设值 L 的退化信道，从而在最小化互信息损失的前提下实现信道近似。该算法采用受二元信道量化启发的贪心合并策略，实现了互信息差距的最优 O(L^{-2/(|X|-1)}) 幂律，且该结果被证明在渐近意义上是紧致的，在非渐近设置下，理论与数值实验均表明其优于先前方法。

ABSTRACT

Consider a channel $W$ along with a given input distribution $P_X$. In certain settings, such as in the construction of polar codes, the output alphabet of $W$ is `too large', and hence we replace $W$ by a channel $Q$ having a smaller output alphabet. We say that $Q$ is upgraded with respect to $W$ if $W$ is obtained from $Q$ by processing its output. In this case, the mutual information $I(P_X,W)$ between the input and output of $W$ is upper-bounded by the mutual information $I(P_X,Q)$ between the input and output of $Q$. In this paper, we present an algorithm that produces an upgraded channel $Q$ from $W$, as a function of $P_X$ and the required output alphabet size of $Q$, denoted $L$. We show that the difference in mutual informations is `small'. Namely, it is $O(L^{-2/(|\mathcal{X}|-1)})$, where $|\mathcal{X}|$ is the size of the input alphabet. This power law of $L$ is optimal. We complement our analysis with numerical experiments which show that the developed algorithm improves upon the existing state-of-the-art algorithms also in non-asymptotic setups.

研究动机与目标

• 开发一种高效算法，将具有大输出字母表的信道升级为输出字母表更小的信道，同时尽可能保留互信息。
• 建立原始信道与升级后信道之间互信息损失的理论界，证明其与输出字母表大小 L 的最优标度关系。
• 将现有的二元信道升级技术推广至一般非二元输入字母表，确保计算效率与理论最优性。
• 通过数值实验表明，所提算法即使在非渐近区域也优于最先进方法。

提出的方法

• 该算法使用一种贪心合并过程，基于源自二元信道互信息的代价函数，依次合并原始信道中互信息损失最小的两个输出符号。
• 对于非二元输入字母表，该方法通过为 i = 1, ..., q−1 定义指示变量 Xi = 1{X=i}，将问题简化为多个二元子问题。
• 每个二元子问题独立使用先前工作中提出的最优二元升级算法处理，该算法保证每个子问题的互信息损失不超过 64/Λ²，其中 Λ 是每个子问题的目标输出大小。
• 最终的量化器 f(Y) 通过组合每个二元分量的独立量化器 fi(Y) 构建，确保整体输出大小不超过 L。
• 该方法利用了在有序序列 p_i = P(X=0|Y=i) 中，最优合并发生在相邻符号之间的事实，从而降低搜索复杂度。
• 理论分析通过合并步骤的望远镜和对总互信息损失进行界，最终导出 O(L^{-2/(|X|-1)}) 的幂律。

实验结果

研究问题

• RQ1 能否高效地将具有大输出字母表的信道近似为输出大小较小的信道，同时保留互信息？
• RQ2 互信息损失与缩减后的输出字母表大小 L 的最优标度关系是什么？
• RQ3 如何将二元信道升级算法推广至非二元输入字母表？
• RQ4 推导出的幂律 O(L^{-2/(|X|-1)}) 是否在渐近意义上是紧致的，且在实际中可实现？

主要发现

• 所提出的升级算法实现了相对于原始信道的互信息损失为 O(L^{-2/(|X|-1)})，且在渐近区域内被证明为最优。
• 对于大小为 q 的输入字母表，互信息差距被限制在 64(q−1) · ⌊L^{1/(q−1)}⌋^{-2} 以内，提供了明确的性能保证。
• 该算法在计算复杂度方面优于最先进方法，尤其适用于非二元输入。
• 数值实验确认，即使在 L 较小的非渐近设置下，该算法也优于现有方法。
• 幂律标度是紧致的，因为对于一般输入分布，该界无法进一步改进至 O(L^{-2/(|X|-1)}) 以下。
• 该方法使得在具有记忆性、有损压缩和窃听信道等场景中高效构造极化码成为可能，其中信道升级对性能评估至关重要。