[论文解读] Learning from weakly dependent data under Dobrushin's condition

Yuval Dagan, Constantinos Daskalakis+2 more|arXiv (Cornell University)|Jun 21, 2019

Machine Learning and Algorithms被引用 11

一句话总结

本文为满足多勃鲁什金条件的弱依赖数据上训练的假设类建立了泛化与学习边界，表明标准复杂度度量（如 Rademacher 和 Gaussian 复杂度）依然有效。与独立同分布（i.i.d.）情形相比，边界仅以常数因子退化，从而使得在具有复杂依赖关系的空间或网络结构数据中实现可靠学习成为可能。

ABSTRACT

Statistical learning theory has largely focused on learning and generalization given independent and identically distributed (i.i.d.) samples. Motivated by applications involving time-series data, there has been a growing literature on learning and generalization in settings where data is sampled from an ergodic process. This work has also developed complexity measures, which appropriately extend the notion of Rademacher complexity to bound the generalization error and learning rates of hypothesis classes in this setting. Rather than time-series data, our work is motivated by settings where data is sampled on a network or a spatial domain, and thus do not fit well within the framework of prior work. We provide learning and generalization bounds for data that are complexly dependent, yet their distribution satisfies the standard Dobrushin's condition. Indeed, we show that the standard complexity measures of Gaussian and Rademacher complexities and VC dimension are sufficient measures of complexity for the purposes of bounding the generalization error and learning rates of hypothesis classes in our setting. Moreover, our generalization bounds only degrade by constant factors compared to their i.i.d. analogs, and our learnability bounds degrade by log factors in the size of the training set.

研究动机与目标

• 填补空间或网络结构领域中非独立同分布（non-i.i.d.）数据在统计学习理论中的空白。
• 探究当数据依赖关系满足多勃鲁什金条件时，标准复杂度度量是否仍可用于控制泛化误差边界。
• 提供仅相对于独立同分布情形以常数或对数因子退化的学习与泛化边界。
• 将现有学习理论从时间序列和遍历过程扩展至具有复杂依赖关系的空间与网络数据。
• 证明 VC 维与 Rademacher/Gaussian 复杂度在此新设定下仍为充分的复杂度度量。

提出的方法

• 使用多勃鲁什金条件形式化数据依赖结构，该条件在概率框架下量化弱依赖性。
• 将 Rademacher 和 Gaussian 复杂度度量适配至满足多勃鲁什金条件的弱依赖设定。
• 利用专为弱依赖随机变量设计的集中不等式推导泛化误差边界。
• 通过将复杂度度量与弱依赖下的经验风险最小化误差关联，建立学习速率。
• 使用耦合论证与混合型边界控制经验均值与期望之间的偏差。
• 证明所得边界与独立同分布情形下使用的复杂度度量具有相同量级，仅引入常数或对数因子惩罚。

实验结果

研究问题

• RQ1 在多勃鲁什金条件约束下，是否可以使用如 Rademacher 和 Gaussian 复杂度等标准复杂度度量来界定泛化误差？
• RQ2 与独立同分布情形相比，弱依赖数据的泛化与学习边界在退化程度上如何？
• RQ3 当数据依赖关系复杂但满足多勃鲁什金条件时，现有学习理论工具的适用性在多大程度上仍然有效？
• RQ4 在弱依赖条件下，训练集规模对学习速率有何影响？
• RQ5 在具有空间或网络结构且存在弱依赖的数据设定中，VC 维是否可作为复杂度度量使用？

主要发现

• 在多勃鲁什金条件约束下，泛化误差边界与独立同分布情形相比仅退化为常数因子。
• 在弱依赖设定下，假设类的学习速率相对于独立同分布情形，随训练集规模呈对数因子退化。
• Rademacher 与 Gaussian 复杂度在该弱依赖设定下仍为有效且可靠的泛化误差边界复杂度度量。
• VC 维足以刻画在多勃鲁什金条件下的可学习性，从而将其适用范围从独立同分布数据扩展至更广泛场景。
• 该框架适用于网络或空间领域中的数据，其中传统的时间序列或遍历性假设不成立。
• 理论结果表明，由多勃鲁什金条件量化出的弱依赖性，并不会从根本上削弱标准学习理论工具的有效性。