[论文解读] Goodness-of-fit tests on manifolds

Alexander Shapiro, Yao Xie+1 more|arXiv (Cornell University)|Sep 11, 2019

Sparse and Compressive Sensing Techniques参考文献 26被引用 5

一句话总结

该论文提出了一种适用于流形上非线性模型的一般拟合优度检验框架，表明非线性最小二乘拟合的残差服从非中心卡方分布。其核心贡献是通过使用雅可比矩阵的特征秩进行序列检验，实现模型阶数的确定，该方法可应用于低秩矩阵/张量补全、信号分离以及神经网络架构选择。

ABSTRACT

We develop a general theory for the goodness-of-fit test to non-linear models. In particular, we assume that the observations are noisy samples of a submanifold defined by a \yao{sufficiently smooth non-linear map}. The observation noise is additive Gaussian. Our main result shows that the "residual" of the model fit, by solving a non-linear least-square problem, follows a (possibly noncentral) $χ^2$ distribution. The parameters of the $χ^2$ distribution are related to the model order and dimension of the problem. We further present a method to select the model orders sequentially. We demonstrate the broad application of the general theory in machine learning and signal processing, including determining the rank of low-rank (possibly complex-valued) matrices and tensors from noisy, partial, or indirect observations, determining the number of sources in signal demixing, and potential applications in determining the number of hidden nodes in neural networks.

研究动机与目标

• 开发适用于流形结构数据的非线性模型的一般性统计拟合优度检验框架。
• 刻画在加性高斯噪声下，非线性最小二乘拟合残差的分布特性。
• 通过与非线性映射相关的雅可比矩阵的特征秩，实现基于序列检验的模型阶数选择。
• 在预测误差难以计算时，提供一种基于分布的、替代AIC/BIC的实用模型选择方法。
• 在低秩矩阵补全、盲源分离以及神经网络架构发现等实际问题中，展示该方法的实用性。

提出的方法

• 该方法将观测值建模为由光滑非线性映射定义的子流形上的噪声样本。
• 推导出残差平方和的渐近分布为非中心卡方分布，其自由度由雅可比矩阵的特征秩决定。
• 特征秩被计算为非线性映射雅可比矩阵的通用秩，其值取决于模型结构和激活函数。
• 提出一种序列假设检验方法，通过检验残差减少是否具有统计显著性，来比较嵌套模型。
• 在原假设下，利用残差的卡方分布计算p值，该原假设对应于给定的模型阶数。
• 通过梯度下降优化的数值实验，将该框架应用于矩阵/张量补全、信号解混和神经网络问题。

实验结果

研究问题

• RQ1 非线性最小二乘拟合在流形上的残差平方和能否被已知的统计分布所刻画？
• RQ2 雅可比矩阵的特征秩如何用于确定非线性模型中的正确模型阶数？
• RQ3 该框架能否为非线性设置下的模型阶数选择提供一种可靠、基于分布的AIC/BIC替代方法？
• RQ4 该方法在从噪声且不完整的观测中确定低秩矩阵和张量的秩方面表现如何？
• RQ5 该方法在识别神经网络中的隐藏节点数或盲信号分离中的源数量方面表现如何？

主要发现

• 在流形上进行非线性最小二乘拟合的残差平方和服从非中心卡方分布，其自由度等于雅可比矩阵的特征秩。
• 对于具有二次激活函数的一层隐藏层神经网络，特征秩为 $dr^* - r^*(r^* - 1)/2$；对于Sigmoid激活函数，特征秩为 $dr^*$，该结果经100次重复实验验证。
• 对于使用ReLU激活函数的神经网络，当 $r^* = 4$ 和 $r^* = 5$ 时，该方法在94–96%的试验中正确识别出真实秩，误发现率控制在6–12%之间。
• 即使在ReLU等非解析激活函数下，该方法依然有效，此时理论上的秩预测不可行。
• 该框架实现了具有可控第一类错误的序列模型阶数选择，如在欠拟合模型中，p值在0.05显著性水平下保持一致控制。
• 该方法在矩阵补全中优于启发式秩选择方法，并为核范数最小化提供了一种有原则的替代方案，后者可能存在渐近偏差。