[论文解读] Estimating Euclidean Distance to Linearity

Bogdanov, Andrej, Taschin, Lorenzo|arXiv (Cornell University)|Oct 19, 2018

Statistical Methods and Inference被引用 11

一句话总结

本文利用逆协方差矩阵差的特征值，为具有相同均值的高斯分布之间的总变差距离提供了紧致的、常数因子有界的估计。研究证明，该距离与变换后协方差差的Frobenius范数在常数因子范围内一致，从而为满秩和奇异协方差情形均提供了可计算的界。

ABSTRACT

Given oracle access to a real-valued function on the n-dimensional Boolean cube, how many queries does it take to estimate the squared Euclidean distance to its closest linear function within ε? Our main result is that O(log³(1/ε) ⋅ 1/ε²) queries suffice. Not only is the query complexity independent of n but it is optimal up to the polylogarithmic factor. Our estimator evaluates f on pairs correlated by noise rates chosen to cancel out the low-degree contributions to f while leaving the linear part intact. The query complexity is optimized when the noise rates are multiples of Chebyshev nodes. In contrast, we show that the dependence on n is unavoidable in two closely related settings. For estimation from random samples, Θ(√n/ε + 1/ε²) samples are necessary and sufficient. For agnostically learning a linear approximation with ε mean-square regret under the uniform distribution, Ω(n/√ε) nonadaptively chosen queries are necessary, while O(n/ε) random samples are known to be sufficient (Linial, Mansour, and Nisan). Our upper bounds apply to functions with bounded 4-norm. Our lower bounds apply even to ± 1-valued functions.

研究动机与目标

• 推导具有相同均值的高维高斯分布之间总变差距离的可计算、常数因子有界的下界与上界。
• 通过投影到公共支撑子空间，将这些界扩展至奇异（秩亏）协方差矩阵的情形。
• 利用均值差向量方向的分解，为具有不同均值的高斯分布之间建立非平凡的下界。
• 解决关于一般高维高斯分布之间总变差距离表征的开放问题，建立在先前已确立紧致界的成果之上。

提出的方法

• 使用总变差距离等于概率密度函数差的L1范数一半的恒等式。
• 对矩阵Σ⁻¹/²₁Σ₂Σ⁻¹/²₁ − I进行谱分解，其特征值λi用于界定总变差距离。
• 通过将问题投影到均值差向量v = µ₁ − µ₂的正交补子空间，将问题分解为一维分量与正交分量。
• 利用一维高斯分布的已知界，推导出全维情形的下界。
• 利用总变差距离的耦合表征，将全维随机向量之间的距离与均值方向及其正交补方向上的距离关联起来。
• 应用Frobenius范数恒等式：∑λ²ᵢ = ||Σ⁻¹/²₁Σ₂Σ⁻¹/²₁ − I||²_F，实现闭式计算。

实验结果

研究问题

• RQ1 对于两个具有相同均值的高维高斯分布，其总变差距离的紧致、可计算的下界与上界是什么？
• RQ2 这些界如何推广至具有相同支撑子空间的奇异高斯分布？
• RQ3 能否为具有不同均值的高斯分布之间建立非平凡的下界？
• RQ4 总变差距离与逆协方差矩阵比的特征结构之间有何关系？
• RQ5 在一维情形下，这些界的行为如何？如何用于推导高维结果？

主要发现

• 对于具有相同均值和正定协方差的两个高维高斯分布，总变差距离在Σ⁻¹₁Σ₂ − I的特征值的L2范数的3/2倍与1/100倍之间。
• 当协方差为半正定且秩相等、具有共同支撑时，总变差距离在(ΠᵀΣ₁Π)⁻¹(ΠᵀΣ₂Π) − Iᵣ的特征值的L2范数的3/2倍与1/100倍之间。
• 对于具有不同均值的高斯分布，下界为min{1, tv(µ₁,Σ₁,µ₂,Σ₂)} / 200，其中tv结合了沿均值方向及其正交补方向的均值差与协方差失配。
• 在一维情形下，总变差距离的下界为1/200乘以1与相对方差差或标准化均值差的最大值。
• 本文确认，先前工作（Arbas et al., 2023）已解决一般高斯分布之间紧致界这一开放问题，本研究为同均值情形提供了自包含的推导。
• 这些界具有鲁棒性，即使在特征值较小时也成立，且通过函数f(ρ) ≥ 0.01（ρ ∈ [0.1, 0.17]）实现了显式的定量控制。