[论文解读] Implementing regularization implicitly via approximate eigenvector computation

Michael W. Mahoney, Lorenzo Orecchia|arXiv (Cornell University)|Oct 4, 2010

Sparse and Compressive Sensing Techniques参考文献 22被引用 31

一句话总结

本文阐明了三种基于随机游走的算法——热核、PageRank 和截断懒随机游走——在近似图拉普拉斯矩阵的最小非平凡特征向量时，如何隐式求解一个正则化优化问题。这些算法并非对标准向量优化进行正则化，而是通过在单位向量的概率分布上进行相关半定规划的松弛，使正则化自然浮现，从而在快速近似算法与隐式统计正则化之间建立了正式联系。

ABSTRACT

Regularization is a powerful technique for extracting useful information from noisy data. Typically, it is implemented by adding some sort of norm constraint to an objective function and then exactly optimizing the modified objective function. This procedure often leads to optimization problems that are computationally more expensive than the original problem, a fact that is clearly problematic if one is interested in large-scale applications. On the other hand, a large body of empirical work has demonstrated that heuristics, and in some cases approximation algorithms, developed to speed up computations sometimes have the side-effect of performing regularization implicitly. Thus, we consider the question: What is the regularized optimization objective that an approximation algorithm is exactly optimizing? We address this question in the context of computing approximations to the smallest nontrivial eigenvector of a graph Laplacian; and we consider three random-walk-based procedures: one based on the heat kernel of the graph, one based on computing the the PageRank vector associated with the graph, and one based on a truncated lazy random walk. In each case, we provide a precise characterization of the manner in which the approximation method can be viewed as implicitly computing the exact solution to a regularized problem. Interestingly, the regularization is not on the usual vector form of the optimization problem, but instead it is on a related semidefinite program.

研究动机与目标

• 将快速近似算法可隐式执行正则化的观点形式化，避免显式惩罚项。
• 识别出三种广泛使用的基于随机游走的方法在近似图拉普拉斯矩阵第一非平凡特征向量时所对应的精确正则化优化问题。
• 表明隐式正则化并非出现在标准向量优化中，而是出现在单位向量分布上的松弛半定规划中。
• 通过刻画启发式方法中的隐式正则化，弥合大规模网络分析中算法效率与统计鲁棒性之间的差距。
• 为快速近似算法在噪声多、稀疏网络中的经验成功提供理论依据，这些场景下显式正则化在计算上不可行。

提出的方法

• 将标准特征向量计算形式化为在单位向量上的谱优化问题。
• 将问题松弛为一个半定规划，其中变量是单位向量的概率分布，从而能够识别隐式正则化。
• 分析三种基于随机游走的方法：热核、PageRank 和截断懒随机游走，表明每种方法均对应求解一个正则化的半定规划。
• 将每种情况下的正则化项表征为游走混合特性与平稳分布的偏离程度的函数。
• 利用谱图论和马尔可夫链的性质，推导出每种近似方法所优化的正则化目标的确切形式。
• 证明隐式正则化源于随机游走转移矩阵的结构及其收敛行为，而非显式惩罚项。

实验结果

研究问题

• RQ1 当近似图拉普拉斯矩阵的最小非平凡特征向量时，热核方法隐式求解了哪一个正则化优化问题？
• RQ2 PageRank 向量计算在图拉普拉斯特征向量近似背景下，如何对应于一个正则化优化问题的精确解？
• RQ3 截断懒随机游走以何种方式隐式正则化特征向量计算？其与其它方法相比有何异同？
• RQ4 为何正则化出现在单位向量分布上的半定松弛中，而非标准向量表述中？
• RQ5 快速近似算法的统计优势——如对噪声和稀疏性的鲁棒性——能否正式归因于优化目标中的隐式正则化？

主要发现

• 三种基于随机游走的方法——热核、PageRank 和截断懒随机游走——均可被解释为在标准特征向量问题的半定松弛上精确求解一个正则化优化问题。
• 正则化并非作用于向量本身，而是作用于单位向量的分布，揭示了谱方法中一种新型的隐式正则化形式。
• 每种情况下的正则化项对应于与随机游走平稳分布的偏离程度，有效惩罚那些偏离游走自然混合行为的解。
• 隐式正则化导致解对大规模网络中的噪声和稀疏性更具鲁棒性，从而解释了这些方法在社区检测和聚类中经验成功的根源。
• 该表征为近似算法中观察到的偏差-方差权衡提供了理论基础，即使未使用显式正则化亦然。
• 结果表明，谱问题的快速、近乎线性时间算法可能本质上就执行了正则化，使其在显式正则化计算上不可行的大规模场景中更具统计优势。