[论文解读] Minimal Algorithmic Information Loss Methods for Dimension Reduction, Feature Selection and Network Sparsification

Héctor Zenil, Narsis A. Kiani+6 more|arXiv (Cornell University)|Feb 16, 2018

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一类基于算法信息论、与模型无关的降维、特征选择与网络稀疏化方法，旨在最小化算法信息损失。通过利用块分解法（BDM）对算法复杂度进行近似，该方法实现了有损压缩、去噪与图汇总，同时保留了关键的结构与拓扑特性，在合成网络与真实世界网络上均优于主成分分析（PCA）与谱稀疏化方法。

ABSTRACT

We present a novel, domain-agnostic, model-independent, unsupervised, and universally applicable Machine Learning approach for dimensionality reduction based on the principles of algorithmic complexity. Specifically, but without loss of generality, we focus on addressing the challenge of reducing certain dimensionality aspects, such as the number of edges in a network, while retaining essential features of interest. These features include preserving crucial network properties like degree distribution, clustering coefficient, edge betweenness, and degree and eigenvector centralities but can also go beyond edges to nodes and weights for network pruning and trimming. Our approach outperforms classical statistical Machine Learning techniques and state-of-the-art dimensionality reduction algorithms by preserving a greater number of data features that statistical algorithms would miss, particularly nonlinear patterns stemming from deterministic recursive processes that may look statistically random but are not. Moreover, previous approaches heavily rely on a priori feature selection, which requires constant supervision. Our findings demonstrate the effectiveness of the algorithms in overcoming some of these limitations while maintaining a time-efficient computational profile. Our approach not only matches, but also exceeds, the performance of established and state-of-the-art dimensionality reduction algorithms. We extend the applicability of our method to lossy compression tasks involving images and any multi-dimensional data. This highlights the versatility and broad utility of the approach in multiple domains.

研究动机与目标

• 开发无需领域依赖、无监督的数据压缩方法，避免统计与熵基方法固有的失真。
• 在降维、特征选择与网络稀疏化过程中最小化算法信息损失，且不依赖于统计特征。
• 保留可计算的、非统计特征——如算法规律性与拓扑不变量——这些特征常被PCA等传统方法所忽略。
• 提供一种基于算法概率与柯尔莫哥洛夫复杂度的通用、与模型无关的数据与网络压缩框架。
• 在图像分割与网络汇总任务中展示该方法的有效性，确保压缩后仍保持图论指标。

提出的方法

• 该方法采用基于无损压缩的有损压缩算法，将可从可计算模型中程序化重构的数据区域或网络边进行合并，以最小化算法信息损失。
• 应用块分解法（BDM）近似柯尔莫哥洛夫复杂度，从而估计数据与网络中的算法信息含量。
• 提出一种新算法——最小信息损失选择（MILS），通过迭代移除信息损失最小的边来实现，其中信息损失定义为BDM计算的复杂度在边移除前后的差值。
• 该算法时间复杂度为多项式时间，最坏情况复杂度为O(|E(G)|³ + |E(G)|²·T_ID(G))，其中T_ID(G)为计算单条边信息损失所需时间。
• 该方法通过识别并保留可计算结构，支持数据与网络的粗粒化处理，即使这些结构缺乏统计规律性。
• 该方法整合了算法概率原理，确保压缩表示保留原始对象的本质算法与结构特征。

实验结果

研究问题

• RQ1 能否利用算法信息论设计一种通用的、与模型无关的数据与网络压缩方法，避免统计偏差？
• RQ2 如何高效地近似算法复杂度，以实现实际可行的降维与特征选择？
• RQ3 最小化算法信息损失在多大程度上能保留度分布、聚类系数与中心性度量等拓扑与图论特性？
• RQ4 该方法能否在高维数据与复杂网络中优于经典方法（如PCA与谱稀疏化），更好地保留有意义的特征？
• RQ5 使用算法复杂度近似方法识别大规模图中最小信息损失边的计算复杂度是多少？

主要发现

• 所提方法在保留图论指标（包括度分布、聚类系数、边介数与特征向量中心性）方面，与最先进的方法（如谱稀疏化与传递性稀疏化）相比，表现相等或更优。
• 在图像分割任务中，该算法优于PCA与随机选择方法，能够保留纯粹统计技术所忽略的结构与算法特征。
• MILS算法的最坏时间复杂度为O(|E(G)|³ + |E(G)|²·T_ID(G))，使其适用于大规模网络。
• 该方法成功识别并保留了数据中非线性、算法规律性特征，而这些特征对依赖线性与统计特征的PCA等统计方法是不可见的。
• 理论分析表明，算法复杂度近似误差被限制在o(log log |V(G)|)以内，确保了信息损失估计的渐近一致性。
• 该方法实现了有损压缩，但在算法信息层面为无损，即原始数据可从压缩表示通过可计算模型重建。