[论文解读] Minimizing Impurity Partition Under Constraints

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|Dec 31, 2019

Error Correcting Code Techniques参考文献 13被引用 9

一句话总结

本文提出了一种新颖算法，用于在任意凹约束下最小化集合划分中的不纯度，通过引入一种新的最优性条件，证明全局最优划分对应于后验概率空间中的超平面切割。该方法实现了频率加权凹不纯度函数在多项式时间内计算全局最优解，推广了确定性信息瓶颈方法，并优于以往的近似方法。

ABSTRACT

Set partitioning is a key component of many algorithms in machine learning, signal processing, and communications. In general, the problem of finding a partition that minimizes a given impurity (loss function) is NP-hard. As such, there exists a wealth of literature on approximate algorithms and theoretical analyses of the partitioning problem under different settings. In this paper, we formulate and solve a variant of the partition problem called the minimum impurity partition under constraint (MIPUC). MIPUC finds an optimal partition that minimizes a given loss function under a given concave constraint. MIPUC generalizes the recently proposed deterministic information bottleneck problem which finds an optimal partition that maximizes the mutual information between the input and partition output while minimizing the partition output entropy. Our proposed algorithm is developed based on a novel optimality condition, which allows us to find a locally optimal solution efficiently. Moreover, we show that the optimal partition produces a hard partition that is equivalent to the cuts by hyperplanes in the probability space of the posterior probability that finally yields a polynomial time complexity algorithm to find the globally optimal partition. Both theoretical and numerical results are provided to validate the proposed algorithm.

研究动机与目标

• 解决在机器学习和信号处理应用中具有约束的最优集合划分的NP难问题。
• 通过在输出分布上引入任意凹约束，推广确定性信息瓶颈方法。
• 开发一种可证明高效的算法，寻找全局最优划分，而非依赖启发式近似方法。
• 建立理论基础，将最优划分与后验概率空间中的超平面分离联系起来。

提出的方法

• 将最小不纯度划分问题（MIPUC）表述为在输出分布的凹约束下最小化频率加权凹不纯度函数。
• 通过拉格朗日对偶性和次梯度分析，推导出一种新的最优性条件，用于刻画局部最优解。
• 证明最优划分是后验概率空间中由超平面切割定义的硬划分。
• 开发一种高效搜索后验概率空间中超平面阈值的算法，实现多项式时间复杂度。
• 通过对对偶变量（例如 β）的离散化范围进行穷举扫描，识别所有可能约束水平下的全局最优解。
• 利用解空间的几何结构，当 N=2 时将搜索简化为对标量阈值的一维扫描，实现精确的全局优化。

实验结果

研究问题

• RQ1 我们能否在不依赖启发式近似方法的前提下，找到任意凹约束下不纯度最小化问题的全局最优解？
• RQ2 频率加权凹不纯度函数的最优划分是否对应于后验概率空间中的超平面切割？
• RQ3 我们能否实现多项式时间复杂度，以找到此类约束下的全局最优划分？
• RQ4 所提出的方法在约束和损失函数方面，如何推广确定性信息瓶颈框架？
• RQ5 对偶变量 β 与受限量化中互信息和输出熵之间的权衡有何关系？

主要发现

• 在凹约束下的全局最优划分对应于后验概率空间中由超平面切割定义的硬划分，可实现精确计算。
• 当 N=2 时，可通过在离散化阈值范围上进行一维搜索找到最优解，实现多项式时间复杂度。
• 在约束 H(Z) ≤ 0.5 下，该算法实现了最大互信息 I(X;Z)* = 0.18623，此时 H(Z) = 0.48873，对应 β* = 6。
• 所提出的方法通过允许任意凹约束（不限于熵）推广了确定性信息瓶颈，实现了广义化。
• 理论分析证实，最优解是全局最优且可在多项式时间内计算，而标准划分方法为NP难。
• 通过二进制输入通信信道的数值验证，确认该方法能够找到真正的全局最优解，与穷举搜索结果一致。