[论文解读] Double descent in the condition number

Tomaso Poggio, Gil Kur+1 more|arXiv (Cornell University)|Dec 12, 2019

Random Matrices and Applications参考文献 16被引用 13

一句话总结

本文表明，对于具有 i.i.d. 期望为零、方差为 1 的条目之随机 $ n \times d $ 矩阵 $ A $，其条件数随 $ d $ 变化时表现出双重下降行为，当 $ n = d $ 时达到峰值，这是由遵循 Marchenko-Pastur 定律的奇异值分布所决定的。关键发现是，过定系统（$ n > d $）和欠定系统（$ n < d $）的条件数优于方阵系统，这对反问题和机器学习中的稳定性具有影响，尤其是在核方法中。

ABSTRACT

In solving a system of $n$ linear equations in $d$ variables $Ax=b$, the condition number of the $n,d$ matrix $A$ measures how much errors in the data $b$ affect the solution $x$. Estimates of this type are important in many inverse problems. An example is machine learning where the key task is to estimate an underlying function from a set of measurements at random points in a high dimensional space and where low sensitivity to error in the data is a requirement for good predictive performance. Here we discuss the simple observation, which is known but surprisingly little quoted (see Theorem 4.2 in \cite{Brgisser:2013:CGN:2526261}): when the columns of $A$ are random vectors, the condition number of $A$ is highest if $d=n$, that is when the inverse of $A$ exists. An overdetermined system ($n&gt;d$) as well as an underdetermined system ($n

研究动机与目标

• 分析随机矩阵条件数随维度 $ d $ 变化的行为，尤其关注过定与欠定系统之间的关系。
• 利用随机矩阵理论解释为何当 $ n = d $ 时条件数最差，尽管此时存在唯一逆矩阵。
• 将条件数中的双重下降现象扩展至由高维 i.i.d. 数据导出的核矩阵。
• 将线性系统的稳定性与机器学习中的泛化性能（尤其是插值模型）相联系。
• 证明当 $ \gamma = n/d < 1 $ 时，基于高维 i.i.d. 数据的核方法在无需正则化的情况下本质上是良好条件的。

提出的方法

• 利用 Marchenko-Pastur 定律分析大维随机矩阵的条件数 $ \kappa(A) = \sigma_{\text{max}}(A)/\sigma_{\text{min}}(A) $，其条目为 i.i.d. 且均值为零、方差为 1。
• 考虑 $ n, d \to \infty $ 且 $ \gamma = n/d $ 固定时的渐近极限，推导出矩阵 $ A $ 的最大与最小奇异值的极限分布。
• 通过算子范数与伪逆定义 $ \kappa(A) = \|A\| \|A^\dagger\| $，将其与极端奇异值的比值联系起来。
• 对于核矩阵 $ K(x_i, x_j) = f(x_i^T x_j) $，本文应用 El Karoui (2010) 的结果，表明在温和条件下，核矩阵在渐近下等价于 $ XX^T $、单位矩阵与全 1 矩阵的线性组合，从而保持 Marchenko-Pastur 的谱特性。
• 通过 MATLAB 的 'cond' 函数进行数值验证，确认线性与径向核矩阵中均存在双重下降模式。
• 理论支持来自关于随机矩阵最小奇异值的研究成果，包括 Rudelson & Vershynin (2009) 与 Davidson & Szarek (2001)。

实验结果

研究问题

• RQ1 为何随机矩阵 $ A \in \mathbb{R}^{n \times d} $ 的条件数在 $ n = d $ 时达到最大？
• RQ2 条件数 $ \kappa(A) $ 如何随 $ d $ 变化，特别是在 $ n > d $、$ n = d $ 与 $ n < d $ 的情形下？
• RQ3 条件数的双重下降行为在由高维 i.i.d. 数据构建的核矩阵中能延伸到何种程度？
• RQ4 当 $ n/d < 1 $ 时，核方法是否能在无需正则化的情况下本质上保持良好条件？
• RQ5 条件数的双重下降与现代机器学习中观察到的泛化误差双重下降之间存在何种联系？

主要发现

• 具有 i.i.d. $ \mathcal{N}(0,1) $ 条目的随机 $ n \times d $ 矩阵的条件数在 $ n = d $ 时达到峰值，表现出双重下降模式，在 $ n/d \to 0 $ 与 $ n/d \to \infty $ 时达到最小值。
• 当 $ \gamma = n/d < 1 $ 时，$ \frac{1}{d}AA^T $ 的最小奇异值集中在 $ (1 - \sqrt{\gamma})^2 $ 附近；当 $ \gamma > 1 $ 时，$ \frac{1}{n}A^T A $ 的最小奇异值集中在 $ (1 - \sqrt{\gamma^{-1}})^2 $ 附近。
• 当 $ \gamma = 1 $ 时，最小奇异值的尺度为 $ \min\{n^{-1}, d^{-1}\} (\max\{\sqrt{n} - \sqrt{d-1}, \sqrt{d} - \sqrt{n-1}\})^2 $，显著小于 $ \gamma \neq 1 $ 的情形。
• 当 $ n = d $ 时，伪逆解 $ x = A^\dagger b $ 的条件数通常远优于方阵系统，这是由于欠定或过定情形下奇异值分布更优。
• 基于 i.i.d. 高维数据与光滑核函数（如径向基函数）的核矩阵，其条件数继承了与线性随机矩阵相同的双重下降行为，这是因为在 Marchenko-Pastur 极限下，其渐近等价于 $ XX^T $、单位矩阵与全 1 矩阵的线性组合。
• 条件数的双重下降与线性与核插值器中观察到的测试误差双重下降相一致，表明机器学习中数值稳定性与泛化性能之间存在深刻联系。