[论文解读] Greedy-Merge Degrading has Optimal Power-Law

Assaf Kartowsky, Ido Tal|arXiv (Cornell University)|Mar 15, 2017

Error Correcting Code Techniques参考文献 18被引用 3

一句话总结

该论文证明了用于信道降级的贪心合并算法在互信息损失中实现了最优的幂律缩放，其损失被限制在信息论下界的一个常数因子之内。此外，论文还表明相同的幂律适用于信道升级，证明了某些信道在本质上难以升级，并提出了一种针对二输入信道的最优升级的高效算法，且具有匹配的理论保证。

ABSTRACT

Consider a channel with a given input alphabet size and a given input distribution. Our aim is to degrade or upgrade it to a channel with at most L output letters. The paper contains four main results. The first result, from which the paper title is derived, deals with the so called "greedy-merge" algorithm. We derive an upper bound on the reduction in mutual information between input and output. This upper bound is within a constant factor of an algorithm-independent lower bound. Thus, we establish that greedy-merge is optimal in the power-law sense. The other main results deal with upgrading. The second result shows that a certain sequence of channels that was previously shown to be "hard" for degrading, displays the same hardness in the context of upgrading. That is, suppose we are given such a channel and a corresponding input distribution. If we upgrade (degrade) to a new channel with L output letters, we incur an increase (decrease) in mutual information between input and output. We show that a previously derived bound on the decrease in mutual information for the degrading case is also a lower bound on the increase for the upgrading case. The third result is an efficient algorithm for optimal upgrading, in the binary-input case. That is, we are given a channel and an input distribution. We must find an upgraded channel with L output letters, for which the increase in mutual information is minimal. We give a simple characterization of such a channel, which implies an efficient algorithm. The fourth result is an analog of the first result for the upgrading case, when the input is binary. That is, we first present a sub-optimal algorithm for the setting considered in the third result. By analyzing the algorithm, we show that the increase incurred in mutual information is within a constant factor of the lower bound derived in the second result.

研究动机与目标

• 分析贪心合并算法在信道降级中的性能，并证明其在幂律意义上的最优性。
• 证明那些难以降级的信道同样难以升级，从而确立对称的信息论极限。
• 为二输入信道的最优信道升级设计一种高效算法，以最小化互信息的增加。
• 将幂律分析从降级扩展到升级，表明即使使用次优算法，性能仍可保持在理论下界的一个常数因子之内。

提出的方法

• 提出贪心合并算法，用于将具有给定输入分布的信道降级为输出字母数不超过 $L$ 的信道，以最小化互信息损失。
• 推导出使用贪心合并算法时互信息减少量的上界，表明其缩放为 $O(L^{-2/(| cal{X}|-1)})$。
• 通过证明对特定信道序列存在匹配的下界 $ Omega(L^{-2/(| cal{X}|-1)})$，证明该上界在常数因子内是紧的。
• 类似地分析升级问题，表明相同的幂律下界也适用于互信息的增加。
• 为二输入信道提出最优升级信道的表征，从而实现高效计算其最优输出分布的算法。
• 将相同的分析框架应用于升级情形，证明即使使用次优的类似贪心分裂的算法，其性能仍可保持在最优边界的常数因子之内。

实验结果

研究问题

• RQ1 贪心合并算法在互信息损失随 $L$ 缩放方面是否最优？
• RQ2 那些难以降级的信道是否也表现出相同的升级困难性？
• RQ3 能否为二输入信道高效构造出最优升级算法？
• RQ4 次优升级算法是否仍能实现接近最优的性能（以互信息增加衡量）？
• RQ5 在降级与升级中，可实现的最小互信息变化的根本幂律缩放是什么？

主要发现

• 贪心合并算法实现了 $O(L^{-2/(| cal{X}|-1)})$ 的互信息减少，其在常数因子内是最优的。
• 对特定信道序列，最小互信息损失存在下界 $ Omega(L^{-2/(| cal{X}|-1)})$，证明该幂律是紧的。
• 与降级困难性相同的信道序列在升级时也具有困难性，互信息增加量 $ Delta I_{ uparrow}^{ ast} = Omega(L^{-2/(| cal{X}|-1)})$。
• 提出了一种针对二输入信道最优升级的高效算法，其基于对最优输出分布的精确表征。
• 在升级情形中，证明了次优算法导致的互信息增加量在理论下界的一个常数因子之内。
• 分析结果确认，幂律指数 $-2/(| cal{X}|-1)$ 对降级与升级均具有根本性，且与输入字母表大小 $| cal{X}|$ 无关。