[论文解读] Minimax rate of convergence and the performance of ERM in phase recovery

Guillaume Lecué, Shahar Mendelson|arXiv (Cornell University)|Nov 20, 2013

Advanced X-ray Imaging Techniques参考文献 14被引用 7

一句话总结

本文分析了在噪声相位检索中经验风险最小化（ERM）的性能，表明恢复信号的估计误差取决于约束集的高斯均宽度和信噪比。研究证明了 ERM 在稀疏向量和 $β$-球上的极小极大最优性，表明 ERM 在对数因子范围内实现了最优收敛速率。

ABSTRACT

We study the performance of Empirical Risk Minimization in noisy phase retrieval problems, indexed by subsets of $\R^n$ and relative to subgaussian sampling; that is, when the given data is $y_i=\inr{a_i,x_0}^2+w_i$ for a subgaussian random vector $a$, independent noise $w$ and a fixed but unknown $x_0$ that belongs to a given subset of $\R^n$. We show that ERM produces $\hat{x}$ whose Euclidean distance to either $x_0$ or $-x_0$ depends on the gaussian mean-width of the indexing set and on the signal-to-noise ratio of the problem. The bound coincides with the one for linear regression when $\|x_0\|_2$ is of the order of a constant. In addition, we obtain a minimax lower bound for the problem and identify sets for which ERM is a minimax procedure. As examples, we study the class of $d$-sparse vectors in $\R^n$ and the unit ball in $\ell_1^n$.

研究动机与目标

• 分析在次高斯抽样下相位检索的极小极大收敛速率。
• 评估经验风险最小化（ERM）在噪声二次测量中的性能。
• 确定 ERM 在稀疏向量和 $β$-球等结构化集合上达到极小极大最优性的条件。
• 建立与 ERM 速率匹配的下界，确认其在对数因子范围内的最优性。

提出的方法

• 对线性形式使用小球假设，以控制经验过程中的高阶项行为。
• 结合偏差界和小球估计，分析 ERM 的超额风险。
• 引入归一化集合 $T_{-,R}(x_0)$ 和 $T_{+,R}(x_0)$，将分析局部化在 $x_0$ 和 $-x_0$ 附近。
• 将高斯均宽度作为约束集 $T$ 的关键复杂度度量。
• 通过信噪比、样本量 $N$ 和维度 $n$ 之间的相互作用，推导估计误差的上界。
• 应用苏达科夫不等式和度量熵论证，建立极小极大下界并验证最优性。

实验结果

研究问题

• RQ1 在次高斯抽样下，相位检索的极小极大收敛速率是什么？
• RQ2 ERM 的性能如何依赖于约束集 $T$ 的结构？
• RQ3 在何种条件下 ERM 在相位检索中达到极小极大最优？
• RQ4 信噪比如何影响 ERM 在相位恢复中的估计误差？
• RQ5 ERM 实现的速率能否被其他任何方法匹配，或者它是否是最优的？

主要发现

• ERM 的收敛速率取决于归一化集合 $T_{-,R}(x_0)$ 和 $T_{+,R}(x_0)$ 的高斯均宽度，这些集合捕捉了约束集的局部几何结构。
• 当 $\|x_0\|_2$ 为常数时，ERM 的速率与线性回归一致，表明在次高斯抽样下，问题的二次性质不会降低性能。
• 对于 $\mathbb{R}^n$ 中的 $d$-稀疏向量，ERM 的速率阶为 $\sqrt{d \log n / N}$，与已知的极小极大速率一致。
• 对于 $\ell_1^n$-球，ERM 在 $\sqrt{\log N}$ 因子范围内达到极小极大最优性，通过苏达科夫不等式确认了匹配的下界。
• 在高噪声环境下，当 $\|x_0\|_2$ 较大时，速率受 $\sigma / \|x_0\|_2 \cdot \sqrt{n \log N / N}$ 限制，反映了噪声和维度的影响。
• 当 $n \lesssim (\sigma^2 \log N / N)^{-1/6} \|x_0\|_2^{1/2}$ 时，ERM 对 $\ell_1^n$-球达到极小极大最优性，表明在噪声存在下仍可实现恢复的区域。