[论文解读] Dependency-dependent Bounds for Sums of Dependent Random Variables

Jasmin Lampert, Liva Ralaivola+1 more|arXiv (Cornell University)|Nov 4, 2018

Markov Chains and Monte Carlo Methods参考文献 16被引用 7

一句话总结

本文提出了一种针对任意依赖随机变量集合的新型依赖度量，使得浓度不等式能够根据依赖强度自适应调整，而非假设独立性或时间顺序。通过引入阈值依赖图来刻画弱依赖关系，该方法推导出的界优于经典结果（如Hoeffding不等式），在具有任意依赖结构的非i.i.d.设定下实现了更紧的尾概率控制。

ABSTRACT

We consider the problem of bounding large deviations for non-i.i.d. random variables that are allowed to have arbitrary dependencies. Previous works typically assumed a specific dependence structure, namely the existence of independent components. Bounds that depend on the degree of dependence between the observations have only been studied in the theory of mixing processes, where variables are time-ordered. Here, we introduce a new way of measuring dependences within an unordered set of variables. We prove concentration inequalities, that apply to any set of random variables, but benefit from the presence of weak dependencies. We also discuss applications and extensions of our results to related problems of machine learning and large deviations.

研究动机与目标

• 为解决现有浓度不等式要么假设独立性，要么依赖于时间有序混合过程的局限性，这些方法不适用于无序依赖系统。
• 开发一种能够超越二元独立性的依赖度量，以捕捉随机变量之间依赖强度，从而实现更紧的界。
• 提供可适应任意集合中弱依赖关系的浓度不等式，无需依赖独立分量或时间结构。
• 将理论结果拓展至机器学习和统计物理中的实际应用，如伊辛模型和级联过程。

提出的方法

• 基于联合分布与乘积边缘分布之间近似误差的度量，提出一种新的依赖度量，通过α-分离系数进行量化。
• 引入阈值依赖图的概念，仅当依赖强度超过阈值γ时保留边，从而形成对依赖结构的软覆盖。
• 将阈值依赖图的着色数χγ(A)定义为控制浓度的关键参数，推广了传统独立分量方法中使用的着色数。
• 推导出一个新的浓度不等式（定理2），结合依赖于χγ(A)的次高斯项与随依赖强度（γ）衰减的项，从而在界上优于经典方法。
• 应用近似定理（定理1）通过依赖结构来界定向样本均值与其期望之间的偏差。
• 在具体模型上验证该框架：晶格系统（如伊辛模型）和独立级联模型，结果表明偏差概率随距离或阈值参数呈指数衰减。

实验结果

研究问题

• RQ1 通过引入依赖强度而非仅依赖存在性，能否改进依赖随机变量和的浓度界？
• RQ2 如何为无序随机变量集合定义一种依赖度量，以反映其联合分布与边缘乘积之间的接近程度？
• RQ3 能否通过利用软覆盖和阈值图，将现有浓度不等式推广至具有任意依赖结构的非i.i.d.设定？
• RQ4 当依赖关系较弱时，所推导的界在多大程度上优于经典结果（如Hoeffding不等式）或基于着色数的界？
• RQ5 该框架能否应用于马尔可夫随机场和级联过程等真实世界模型，并提供可证明的性能保证？

主要发现

• 本文建立了新的浓度不等式（公式4），结合次高斯项与γ的衰减项，在依赖关系较弱时，其界优于Hoeffding不等式。
• 在二维晶格上的伊辛模型中，界（公式67）显示偏差概率随组间距离ν呈指数衰减，受谱间隙参数λ控制。
• 在独立级联模型中，基于α-系数随图距离呈指数衰减的猜想，界（公式70）实现了依赖于阈值图着色数χd的指数集中。
• 近似定理（定理1）证明：当α-分离系数较小时，一组随机变量的联合分布可被边缘乘积良好近似，为界提供了理论基础。
• 该框架推广了现有结果：在独立情况下可恢复Hoeffding界，并通过引入依赖强度改进了基于着色数的界。
• 该方法在晶格模型和级联过程等依赖关系弱但非马尔可夫性的设定中，通过利用空间或结构上的分离，实现了更紧的集中性。