[论文解读] Approximate Computation and Implicit Regularization for Very Large-scale Data Analysis

Michael W. Mahoney|arXiv (Cornell University)|Mar 4, 2012

Sparse and Compressive Sensing Techniques参考文献 37被引用 5

一句话总结

本文提出，在大规模数据分析中，近似计算本质上会引入隐式统计正则化，弥合了算法视角与统计视角之间的鸿沟。通过以统计视角分析最坏情况下的算法，本文表明，近似可自然地使结果对噪声数据保持稳定，从而在无需显式建模噪声的情况下实现可扩展、鲁棒的推断。

ABSTRACT

Database theory and database practice are typically the domain of computer scientists who adopt what may be termed an algorithmic perspective on their data. This perspective is very different than the more statistical perspective adopted by statisticians, scientific computers, machine learners, and other who work on what may be broadly termed statistical data analysis. In this article, I will address fundamental aspects of this algorithmic-statistical disconnect, with an eye to bridging the gap between these two very different approaches. A concept that lies at the heart of this disconnect is that of statistical regularization, a notion that has to do with how robust is the output of an algorithm to the noise properties of the input data. Although it is nearly completely absent from computer science, which historically has taken the input data as given and modeled algorithms discretely, regularization in one form or another is central to nearly every application domain that applies algorithms to noisy data. By using several case studies, I will illustrate, both theoretically and empirically, the nonobvious fact that approximate computation, in and of itself, can implicitly lead to statistical regularization. This and other recent work suggests that, by exploiting in a more principled way the statistical properties implicit in worst-case algorithms, one can in many cases satisfy the bicriteria of having algorithms that are scalable to very large-scale databases and that also have good inferential or predictive properties.

研究动机与目标

• 解决大规模数据分析中算法视角与统计视角之间的根本性脱节问题。
• 研究计算中的近似如何隐式提供正则化，从而提升对噪声数据的鲁棒性。
• 证明通过利用近似隐含的统计特性，可扩展算法实现良好的推断与预测性能。
• 通过将计算与建模视为相互依赖的关系，弥合大规模数据集（MMDS）中计算效率与统计可靠性之间的差距。
• 超越最坏情况分析，理解近似在实践中如何内在地对结果进行正则化，尤其是在存在噪声的真实世界数据中。

提出的方法

• 通过遗传学与互联网数据中的案例研究，从实证与理论两方面检验近似对算法输出的影响。
• 分析近似算法（如低秩矩阵近似与PageRank算法）如何通过过滤噪声来隐式实现正则化。
• 将近似视为一种隐式正则化形式，其中算法近似的选择引入了对输入噪声的稳定性。
• 建立谱方法、矩阵近似与鲁棒性、收敛性等统计特性之间的联系。
• 应用随机算法与嵌入技术的理论洞见，表明近似即使在噪声存在下仍能保留有意义的结构。
• 提出应从将计算与统计视为独立问题的思维模式，转向整合二者，以近似作为连接可扩展性与推断质量的桥梁。

实验结果

研究问题

• RQ1 大规模数据分析中的近似计算如何导致隐式统计正则化？
• RQ2 最坏情况算法在未显式建模噪声的情况下，以何种方式内在地稳定对噪声输入数据的响应？
• RQ3 能否利用近似算法的统计特性来提升真实世界数据分析中的预测性能与鲁棒性？
• RQ4 算法设计在隐式编码正则化方面扮演何种角色？与显式正则化技术相比有何异同？
• RQ5 如何通过整合算法与统计视角，实现对大规模数据集的可扩展、可靠且可解释的分析？

主要发现

• 即使近似计算并非专为正则化而设计，也能通过过滤数据中的噪声，隐式导致统计正则化。
• 实证与理论证据表明，诸如低秩矩阵近似与PageRank等近似算法对输入噪声表现出鲁棒性，表明其具有内在正则化特性。
• 在可扩展算法中使用近似，通常可产生更稳定、更具泛化能力的解，即使输入数据存在噪声或结构不良。
• 当通过统计视角分析最坏情况算法时，可揭示其隐含的正则化效应，从而提升推断与预测性能。
• 通过认识到近似本质上编码了对数据结构与噪声的假设，可弥合算法与统计视角之间的鸿沟。
• 通过将近似视为隐式正则化来源，实践者可在不依赖显式噪声统计建模的前提下，实现可扩展、可靠的分析。