[论文解读] McDiarmid-Type Inequalities for Graph-Dependent Variables and Stability Bounds

Rui Ray Zhang, Xingwu Liu+2 more|arXiv (Cornell University)|Sep 5, 2019

Machine Learning and Algorithms被引用 8

一句话总结

本文提出了一种针对图依赖随机变量的Lipschitz函数的新型McDiarmid型集中不等式，采用一种称为森林复杂度的新度量来量化依赖强度。作者为从非独立同分布数据中学习的算法推导出依赖于算法的稳定性界，表明对于多种图结构（包括m-依赖序列），在统一稳定性条件下，泛化误差的收敛速率与独立同分布情况一致。

ABSTRACT

A crucial assumption in most statistical learning theory is that samples are independently and identically distributed (i.i.d.). However, for many real applications, the i.i.d. assumption does not hold. We consider learning problems in which examples are dependent and their dependency relation is characterized by a graph. To establish algorithm-dependent generalization theory for learning with non-i.i.d. data, we first prove novel McDiarmid-type concentration inequalities for Lipschitz functions of graph-dependent random variables. We show that concentration relies on the forest complexity of the graph, which characterizes the strength of the dependency. We demonstrate that for many types of dependent data, the forest complexity is small and thus implies good concentration. Based on our new inequalities we are able to build stability bounds for learning from graph-dependent data.

研究动机与目标

• 通过图模型对依赖关系进行建模，填补非独立同分布数据泛化理论的空白。
• 为图依赖随机变量开发定制化的集中不等式，突破独立同分布假设的限制。
• 基于稳定性理论，为依赖数据学习算法建立依赖于算法的泛化界。
• 引入森林复杂度作为图形模型中依赖强度的新度量。

提出的方法

• 定义一种称为森林复杂度的新依赖度量，通过最优森林近似量化图中依赖强度。
• 证明针对图依赖变量的Lipschitz函数的McDiarmid型集中不等式，其参数化依赖于森林复杂度。
• 将该不等式应用于推导在图依赖样本上运行的学习算法的稳定性驱动泛化界。
• 证明对于m-依赖序列，森林复杂度为O(mn)，从而实现紧致的泛化界。
• 利用该界表明，在m-依赖数据上，统一稳定的机器学习算法可实现与i.i.d.情况相同的泛化误差收敛速率。
• 利用分数染色和超图技术，将该框架扩展至更广泛的依赖结构。

实验结果

研究问题

• RQ1 McDiarmid型集中不等式能否推广至图依赖随机变量？若能，何种依赖度量可实现紧致界？
• RQ2 森林复杂度与现有依赖度量（如混合系数或色数）相比，在捕捉依赖强度方面表现如何？
• RQ3 能否利用新集中不等式为图依赖数据上的学习算法推导出基于稳定性的泛化界？
• RQ4 常见依赖结构（如m-依赖序列或空间过程）的森林复杂度是多少？
• RQ5 在统一稳定性条件下，所提出的框架能否实现与i.i.i.d.情况相当的泛化误差速率？

主要发现

• 所提出的McDiarmid型不等式为图依赖变量的Lipschitz函数提供了基于森林复杂度的集中界。
• 对于m-依赖序列，森林复杂度被限制在O(mn)以内，从而导出紧致的泛化界。
• 在统一稳定性条件下，m-依赖数据的泛化误差收敛速率为O(√(ln(1/δ)/n))，与i.i.d.情况一致。
• 该框架实现了对非独立同分布数据的稳定性驱动泛化界，将依赖于算法的理论扩展至独立同分布假设之外。
• 森林复杂度提供了一种可计算且可解释的依赖强度度量，其估计比混合系数更简便。
• 该结果适用于现实场景，如空间计量经济学，其中局部依赖（例如受邻近位置影响的房价）可通过图结构建模。