[论文解读] Detecting Correlations with Little Memory and Communication

Yuval Dagan, Ohad Shamir|arXiv (Cornell University)|Mar 4, 2018

Machine Learning and Algorithms参考文献 17被引用 3

一句话总结

本文建立了在高维数据中检测成对相关性时，内存/通信复杂度与样本复杂度之间的紧致信息论权衡。证明了在最优样本复杂度下，至少需要 Ω(d²) 的内存或通信比特，表明在该范围内，朴素的流式处理或分布式方法在信息论上是最优的。

ABSTRACT

We study the problem of identifying correlations in multivariate data, under information constraints: Either on the amount of memory that can be used by the algorithm, or the amount of communication when the data is distributed across several machines. We prove a tight trade-off between the memory/communication complexity and the sample complexity, implying (for example) that to detect pairwise correlations with optimal sample complexity, the number of required memory/communication bits is at least quadratic in the dimension. Our results substantially improve those of Shamir [2014], which studied a similar question in a much more restricted setting. To the best of our knowledge, these are the first provable sample/memory/communication trade-offs for a practical estimation problem, using standard distributions, and in the natural regime where the memory/communication budget is larger than the size of a single data point. To derive our theorems, we prove a new information-theoretic result, which may be relevant for studying other information-constrained learning problems.

研究动机与目标

• 理解在内存或通信约束下，检测多变量数据中相关性的基本极限。
• 为一个实际的统计估计问题，建立内存/通信复杂度与样本复杂度之间的紧致权衡。
• 分析在内存/通信预算超过单个数据点大小的场景下，相关性检测的信息论极限。
• 开发一种适用于其他信息约束下学习问题的新信息论框架。

提出的方法

• 形式化了在内存或通信约束下，对高维零均值数据中成对相关性检测问题的建模。
• 使用霍夫丁不等式和并集界，建立无约束检测下的基线样本复杂度。
• 分析流式处理和分布式算法，这些算法以分批或有限通信的方式处理数据，展示了资源使用与样本大小之间的权衡。
• 引入新的信息论结果，以证明内存和通信复杂度的下限。
• 采用集中不等式和组合论证，对矩生成函数中各项的和进行有界，证明了次二次内存/通信会导致次优样本复杂度。
• 将该框架应用于流式和分布式场景，表明为实现常数成功概率的检测，内存与总处理数据量的乘积必须为 Ω(d²/ρ²)。

实验结果

研究问题

• RQ1 在实现最优样本复杂度的前提下，检测高维数据中成对相关性所需的最小内存是多少？
• RQ2 在分布式相关性检测中，通信复杂度如何影响样本复杂度？
• RQ3 是否可以改进朴素的一次处理一个相关对的方法，在内存-样本复杂度权衡上取得更优结果？
• RQ4 相关性检测中，内存与样本大小乘积的根本信息论极限是什么？
• RQ5 与先前工作（如 Raz, 2016）相比，本研究在模型假设和适用范围上有哪些异同？

主要发现

• 证明了内存/通信复杂度与样本复杂度之间存在紧致权衡：为实现最优样本复杂度，内存或通信必须为 Ω(d²)。
• 为以常数概率检测相关性，内存大小与总处理数据点数的乘积必须为 Ω(d²/ρ²)，这意味着次二次内存会导致次优样本复杂度。
• 即使内存/通信预算大于单个数据点的大小，该下界依然成立，这是与先前工作的关键区别。
• 本文首次为使用标准分布的实际估计问题，建立了可证明的样本/内存/通信权衡。
• 与 Shamir (2014) 相比，本研究考虑了更广泛且更自然的内存和通信约束范围，实现了改进。
• 分析表明，一次处理一个相关对的朴素方法在信息论上是最优的，任何算法都无法实现更优的权衡。