[论文解读] Multivariate Information Bottleneck

Nir Friedman, Ori Mosenzon+2 more|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 12被引用 118

一句话总结

本文提出了一种基于贝叶斯网络建模多个数据系统间相关聚类的、原则性的多变量信息瓶颈方法扩展。该方法实现了信息压缩与相关性的联合优化，其迭代算法将原始IB框架推广至处理多变量依赖关系，并为数据划分提供结构化洞察。

ABSTRACT

The Information bottleneck method is an unsupervised non-parametric data organization technique. Given a joint distribution P(A,B), this method constructs a new variable T that extracts partitions, or clusters, over the values of A that are informative about B. The information bottleneck has already been applied to document classification, gene expression, neural code, and spectral analysis. In this paper, we introduce a general principled framework for multivariate extensions of the information bottleneck method. This allows us to consider multiple systems of data partitions that are inter-related. Our approach utilizes Bayesian networks for specifying the systems of clusters and what information each captures. We show that this construction provides insight about bottleneck variations and enables us to characterize solutions of these variations. We also present a general framework for iterative algorithms for constructing solutions, and apply it to several examples.

研究动机与目标

• 将经典信息瓶颈方法扩展至同时处理多个相互关联的数据系统。
• 提供一种基于贝叶斯网络对多变量使用原则性框架进行聚类建模。
• 在多变量设置中实现压缩与相关性的联合优化。
• 通过结构建模表征多变量IB变体的解。
• 开发用于复杂多变量数据场景下构造解的迭代算法。

提出的方法

• 该框架使用贝叶斯网络表示多个数据系统及其聚类结构的联合分布。
• 将多变量信息瓶颈表述为对条件分布的变分优化问题。
• 该方法引入一种联合信息度量，以捕捉多个目标变量之间的相关性。
• 通过在信息目标的变分下界上使用坐标上升法，推导出迭代算法。
• 该方法允许通过条件独立性假设，模块化地指定聚类系统及其依赖关系。
• 通过交替更新聚类分配和估计充分统计量来计算解。

实验结果

研究问题

• RQ1 信息瓶颈原理如何被推广以处理多个相互关联的数据系统？
• RQ2 贝叶斯网络在建模多变量聚类结构及其依赖关系中起什么作用？
• RQ3 在多变量设置中，如何联合优化压缩与相关性？
• RQ4 多变量信息瓶颈解的结构与算法特性是什么？
• RQ5 与单变量IB相比，多变量扩展如何改善数据组织？

主要发现

• 多变量IB框架能够在保留相关统计依赖关系的同时，实现对多个数据系统的联合聚类。
• 使用贝叶斯网络可显式建模聚类系统之间的条件依赖关系。
• 迭代算法收敛至稳定解，平衡了所有目标变量上的压缩与相关性。
• 该框架为在多变量情境下分析信息保留与数据简化之间的权衡提供了原则性方法。
• 该方法推广了原始IB方法，并为数据组织与特征选择提供了新见解。
• 实证示例表明，在多变量场景下，聚类性能与可解释性均得到提升。