[论文解读] A Short Note on Concentration Inequalities for Random Vectors with SubGaussian Norm

Chi Jin, Praneeth Netrapalli+3 more|arXiv (Cornell University)|Feb 11, 2019

Point processes and geometric inequalities参考文献 2被引用 51

一句话总结

本笔记引入 norm-subGaussian random vectors (nSG)，证明紧致的集中性界，当以范数的集中为研究重点时，相较于标准的 subGaussian 界有改进，且结果在对数因子范围内保持紧致。

ABSTRACT

In this note, we derive concentration inequalities for random vectors with subGaussian norm (a generalization of both subGaussian random vectors and norm bounded random vectors), which are tight up to logarithmic factors.

研究动机与目标

• 激发对随机向量的集中性研究，其中范数紧密集中而不是每个投影都是 subGaussian。
• 将 norm-subGaussian random vectors (nSG) 定义为一个自然的泛化，包含 subGaussian 向量和有界范数向量。
• 建立等价表征并推导向量集中界，使其在维度的对数因子内与 subGaussian 界相匹配。

提出的方法

• 引入 norm-subGaussian (nSG) 的定义，并证明它包含 subGaussian 和有界范数向量。
• 通过尾部、矩和超指数矩量界来证明 nSG 的等价表征。
• 发展基于矩阵 MGF 的方法，使用 Y 矩阵处理基于范数的 MGFs，并应用 Lieb 的凹性定理。
• 导出独立 nSG 向量和在条件版本（随机或固定 sigma）下的主要集中界。
• 将一般界特化为 Hoeffding 型不等式，以及一个两情形界，维度对数依赖。

实验结果

研究问题

• RQ1 我们如何定义和刻画 norm-subGaussian 向量，以捕捉范数自身的集中？
• RQ2 可以建立哪些对 norm-subGaussian 向量之和的集中边界，可能具有随机或数据相关的 subGaussian 参数？
• RQ3 这些界与传统的 subGaussian 界相比如何，特别是在维度相关性方面？
• RQ4 我们能推导出类比 Hoeffding 不等式的向量情形的实用推论吗？

主要发现

• Norm-subGaussian 向量 (nSG) 泛化了 subGaussian 和有界范数向量，集中界依赖于参数 σ。
• 存在关于尾部、矩和超指数矩量界的 nSG 等价刻画，至多与常数无关。
• 若 X 为均值为零的 nSG(σ)，则 ||X||^2 是 subexponential，任意固定单位投影 ⟨v,X⟩ 均为 subGaussian。
• 使用 Y 矩阵的矩阵 MGF 表征允许应用 Lieb 的凹性定理以获得 nSG 向量和的界。
• 一般集中界（引理6）通过涉及 σi^2 总和和 log(2d/δ) 项的项来界定 ||sum Xi||，并给出概率保证。
• 推论给出对于固定的 σi 的 Hoeffding 型不等式，以及一个考虑总方差和可能很大，总体对数维度依赖的综合界。