[论文解读] Hard Clusters Maximize Mutual Information

Bernhard C. Geiger, Rana Ali Amjad|arXiv (Cornell University)|Aug 17, 2016

Complexity and Algorithms in Graphs参考文献 9被引用 3

一句话总结

本文证明，在特定信息论聚类问题中，包括信息瓶颈和共聚类在内，硬聚类（确定性）分配可最大化互信息。通过利用互信息的凸性特性，作者证明实值软聚类优化可达到与组合优化的硬聚类相同的全局最优解，从而可通过连续方法而非离散搜索实现高效优化。

ABSTRACT

In this paper, we investigate mutual information as a cost function for clustering, and show in which cases hard, i.e., deterministic, clusters are optimal. Using convexity properties of mutual information, we show that certain formulations of the information bottleneck problem are solved by hard clusters. Similarly, hard clusters are optimal for the information-theoretic co-clustering problem that deals with simultaneous clustering of two dependent data sets. If both data sets have to be clustered using the same cluster assignment, hard clusters are not optimal in general. We point at interesting and practically relevant special cases of this so-called pairwise clustering problem, for which we can either prove or have evidence that hard clusters are optimal. Our results thus show that one can relax the otherwise combinatorial hard clustering problem to a real-valued optimization problem with the same global optimum.

研究动机与目标

• 理解在使用互信息作为代价函数时，硬聚类在何种条件下为最优。
• 通过证明在特定公式下全局最优解的等价性，弥合组合硬聚类与连续软聚类之间的差距。
• 分析成对聚类问题，其中两个数据集必须使用相同的聚类分配，识别硬聚类保持最优的条件。
• 为在基于互信息的聚类中使用连续优化而非离散组合方法提供理论依据。
• 识别在成对聚类中尽管一般情况下非最优，但硬聚类仍为最优的实际特例。

提出的方法

• 利用互信息的凸性特性，分析信息论聚类问题中硬聚类的最优性。
• 应用信息瓶颈框架和共聚类公式，表明互信息最大化可导致确定性聚类分配。
• 引入一个概率模型，其中联合分布通过信道矩阵从特征向量推导得出，将数据建模为潜在变量的观测。
• 采用矩阵分解和信道建模（例如，使用正特征向量的格拉米安模型）将联合分布表示为 P ∝ UΛU†。
• 利用确定性矩阵分解推导互信息的上界，并与软聚类解进行比较。
• 通过建模共享聚类分配来分析成对聚类问题，并研究硬聚类最优性的充分条件。

实验结果

研究问题

• RQ1 在聚类问题中，最大化互信息时，硬聚类在何种条件下为最优？
• RQ2 组合硬聚类问题能否被松弛为具有相同全局最优解的连续优化问题？
• RQ3 在信息瓶颈和共聚类框架中，互信息最大化是否等价于硬聚类？
• RQ4 在两个数据集共享相同聚类分配的成对聚类问题中，硬聚类是否最优？
• RQ5 成对聚类问题的哪些实际特例可接受硬聚类解？

主要发现

• 由于互信息的凸性，硬聚类在标准信息瓶颈和共聚类问题中为最优。
• 在这些设定下，实值软聚类问题的全局最优解与组合硬聚类问题的全局最优解一致。
• 在共享聚类分配的成对聚类问题中，硬聚类一般并非最优，但在特定实际情况下仍为最优。
• 对于格拉米安模型（正特征向量的余弦相似度模型），数值证据表明硬成对聚类为最优。
• 推导出硬成对聚类最优性的充分条件，尽管一般性证明仍待完成，但（34）和（35）为未来证明提供了有希望的路径。
• 识别出互信息表达式 I(Y₁;Y₂) = I(Z;Y₁) + I(Z;Y₂) − I(Z;Y₁,Y₂) 作为未来证明开发的关键候选。