[论文解读] Algorithmic and Statistical Challenges in Modern Large-Scale Data Analysis are the Focus of MMDS 2008

Michael W. Mahoney, Lek‐Heng Lim+1 more|ArXiv.org|Dec 19, 2008

Big Data Technologies and Applications被引用 4

一句话总结

本文总结了2008年大规模现代数据集算法研讨会（MMDS 2008），该研讨会汇聚了计算机科学、统计学、数学和数据分析领域的研究人员，共同应对大规模、高维及非线性数据中的算法与统计挑战。研讨会强调了利用图、矩阵和统计模型对大规模数据进行建模的跨学科方法，重点在于可扩展算法、降维技术以及再生核希尔伯特空间（RKHS）中的核方法。

ABSTRACT

The 2008 Workshop on Algorithms for Modern Massive Data Sets (MMDS 2008), sponsored by the NSF, DARPA, LinkedIn, and Yahoo!, was held at Stanford University, June 25--28. The goals of MMDS 2008 were (1) to explore novel techniques for modeling and analyzing massive, high-dimensional, and nonlinearly-structured scientific and internet data sets; and (2) to bring together computer scientists, statisticians, mathematicians, and data analysis practitioners to promote cross-fertilization of ideas.

研究动机与目标

• 探索用于分析大规模、高维及非线性结构数据集的新颖算法、统计与数学技术。
• 促进计算机科学家、统计学家、数学家与数据分析实践者之间的思想交融。
• 通过跨学科合作，应对大规模数据带来的挑战，包括稀疏性、噪声与复杂结构。
• 推动为现代数据密集型应用开发可扩展、高效且统计可靠的算法方法。
• 识别数据挖掘、机器学习与科学计算交叉领域中的新兴研究方向。

提出的方法

• 组织了六场时长一小时的教程，介绍大规模数据分析的核心主题，包括图挖掘、矩阵算法与统计建模。
• 利用图与矩阵表示法对复杂数据进行建模，例如社交网络与特征丰富的数据集。
• 提出了一种基于条件独立性与再生核希尔伯特空间（RKHS）上算子的半参数化充分降维（SDR）公式。
• 应用基于RKHS的方法来优化统计泛函，实现对充分降维子空间的非参数估计。
• 利用RKHS的再生性质，将函数求值简化为内积运算，从而实现高效计算。
• 整合了频率学派与贝叶斯视角，统计建模强调噪声结构与预测不确定性。

实验结果

研究问题

• RQ1 我们如何开发可扩展且统计可靠的算法，以分析大规模、高维及非线性数据？
• RQ2 在现实应用中出现的大规模图与矩阵建模中，存在哪些算法与统计挑战？
• RQ3 如何调和将数据视为事件记录的数据库视角与将数据视为潜在随机过程实现的统计视角之间的差异？
• RQ4 再生核希尔伯特空间（RKHS）中的核方法是否可用于高效求解复杂统计问题，如充分降维？
• RQ5 现有大规模网络模型（例如Erdős-Rényi模型）在多大程度上能捕捉现实数据的真实结构特性，如重尾度分布？

主要发现

• 研讨会吸引了近300名参与者，共举办了43场报告与18场海报展示，反映出强烈的跨学科兴趣。
• 图与矩阵模型在理解大规模数据中占据核心地位，其在社交网络、网络搜索与科学计算等现实应用中具有广泛用途。
• 两种主导视角——数据作为事件记录（计算机科学视角）与数据作为随机过程实现的样本（统计学视角）——被证明是互补且相互促进的。
• 基于RKHS算子的半参数SDR方法为降维提供了一种新颖的非参数方法，避免了强参数假设。
• 基于RKHS的方法通过将函数求值简化为内积，实现了对复杂统计泛函的高效优化。
• 研讨会表明，可扩展算法（包括基于MapReduce与外部内存模型的算法）对于处理现代数据工作负载至关重要。