[论文解读] Bernstein Concentration Inequalities for Tensors via Einstein Products

Ziyan Luo, Liqun Qi+1 more|arXiv (Cornell University)|Feb 8, 2019

Tensor decomposition and applications参考文献 16被引用 4

一句话总结

本文通过爱因斯坦积将伯恩斯坦矩阵集中不等式推广至任意阶随机张量，利用张量的矩阵化（matricization）将张量转化为矩阵，从而利用现有的矩阵集中结果。核心贡献是提出一种带有内在维度因子的张量伯恩斯坦不等式，使得在子采样和高阶优化等应用中，对高阶张量值随机变量的概率界更加紧密。

ABSTRACT

A generalization of the Bernstein matrix concentration inequality to random tensors of general order is proposed. This generalization is based on the use of Einstein products between tensors, from which a strong link can be established between matrices and tensors, in turn allowing exploitation of existing results for the former.

研究动机与目标

• 将矩阵伯恩斯坦集中不等式推广至任意阶随机张量。
• 建立分析张量值随机变量偏离其期望的理论框架。
• 在子采样、张量稀疏化和高阶优化中实现实际应用。
• 引入一个内在维度因子，相比朴素的维度缩放，能改进集中界。
• 通过爱因斯坦积与矩阵化，弥合矩阵集中理论与张量分析之间的鸿沟。

提出的方法

• 利用爱因斯坦张量积定义张量上的代数运算，实现类似矩阵的运算操作。
• 采用矩阵化方法将张量转换为大矩阵，从而应用已知的矩阵集中不等式。
• 引入爱因斯坦对称与爱因斯坦正交张量的概念，以在积运算下保持结构特性。
• 通过基于爱因斯坦积的收缩定义张量方差统计量：$\mathbb{E}({\cal Y} \stackrel{-}{\Box} {\cal Y})$ 和 $\mathbb{E}({\cal Y} \underline{\Box} {\cal Y})$。
• 引入内在维度 $d_{{\cal V}}({\cal Y}) = \frac{1}{\nu({\cal Y})} (\mathrm{tr}^\Box({\cal V}_1) + \mathrm{tr}^\Box({\cal V}_2))$ 以优化集中界。
• 将矩阵集中结果（Tropp, 2015, 定理 7.3.1）应用于张量和的矩阵化形式，推导出最终不等式。

实验结果

研究问题

• RQ1 能否将伯恩斯坦矩阵集中不等式推广至任意阶随机张量？
• RQ2 爱因斯坦积如何用于在集中分析中建立张量与矩阵之间的结构联系？
• RQ3 内在维度在改进张量值随机变量集中界中起什么作用？
• RQ4 该框架能否应用于子采样及赫essian以外的高阶导数估计？
• RQ5 能否利用张量特有的谱性质，实现优于朴素 $d^m$ 缩放的更紧界？

主要发现

• 本文通过爱因斯坦积与矩阵化，推导出张量值随机变量的伯恩斯坦型集中不等式。
• 核心结果为高概率界：$\mathbb{P}(\|{\cal Y}\|^{\stackrel{-}{\Box}} \geq t) \leq 4d_{{\cal V}}({\cal Y}) \cdot \exp\left(\frac{-t^2/2}{\nu({\cal Y}) + Lt/3}\right)$，其中 $t \geq \sqrt{\nu({\cal Y})} + L/3$。
• 内在维度因子 $d_{{\cal V}}({\cal Y})$ 上界为 $d^m + d^{N-m}$，但若协方差矩阵为低秩，则可显著更小。
• 与早期版本相比，该界放宽了 $t$ 的取值范围，但改进了依赖维度的因子，增强了实际可用性。
• 该方法使子采样与梯度/Hessian 估计技术可扩展至泰勒展开中的更高阶导数。
• 该框架为高维计算统计学与优化开辟了新研究路径，尤其适用于依赖高阶近似的深度学习模型。