[论文解读] Degrees of freedom for nonlinear least squares estimation

Niels Richard Hansen, Alexander Sokol|arXiv (Cornell University)|Feb 12, 2014

Probabilistic and Robust Engineering Design参考文献 21被引用 9

一句话总结

本文通过证明度量投影估计量的散度是由于非凸几何结构导致的有偏但定义明确的自由度估计，建立了一个用于非线性最小二乘估计中有效自由度估计的一般框架。关键贡献在于利用Randon测度对偏差进行了精确表示，从而通过Stein的无偏风险估计（SURE）实现改进的风险估计，尤其适用于非凸模型，如系统生物学中的$ε_1$-约束ODE。

ABSTRACT

We give a general result on the effective degrees of freedom for nonlinear least squares estimation, which relates the degrees of freedom to the divergence of the estimator. We show that in a general framework, the divergence of the least squares estimator is a well defined but potentially negatively biased estimate of the degrees of freedom, and we give an exact representation of the bias. This implies that if we use the divergence as a plug-in estimate of the degrees of freedom in Stein's unbiased risk estimate (SURE), we generally underestimate the true risk. Our result applies, for instance, to model searching problems, yielding a finite sample characterization of how much the search contributes to the degrees of freedom. Motivated by the problem of fitting ODE models in systems biology, the general results are illustrated by the estimation of systems of linear ODEs. In this example the divergence turns out to be a useful estimate of degrees of freedom for $\ell_1$-constrained models.

研究动机与目标

• 为非凸均值模型中的非线性最小二乘估计量建立有效自由度的有限样本表征。
• 解决系统生物学中由于ODE模型本质上非线性和非凸而导致的无偏风险估计挑战。
• 为尽管可能存在负偏差，仍将度量投影的散度作为自由度代理的理论基础提供支持。
• 展示基于散度的自由度估计在$ε_1$-约束线性ODE估计中的适用性与准确性。
• 量化基于散度的自由度估计中的偏差，并提供真实与估计自由度之间差异的测度论表示。

提出的方法

• 通过将度量投影映射到闭集$K \subseteq \mathbb{R}^n$，推导出非线性最小二乘估计量的Stein引理推广。
• 利用Alexandrov关于凸函数几乎处处可微性的定理，建立度量投影的几乎处处可微性。
• 将基于散度的自由度估计偏差表示为在度量投影非可微点集上定义的Randon测度$\nu$的积分形式。
• 将该理论应用于$\ell_1$-约束非线性最小二乘估计，特别是线性ODE系统。
• 提出两种散度计算公式：一种基于参数化模型，另一种通过隐函数微分或抽象变分分析。
• 通过模拟和解析示例验证散度公式的正确性，并评估其在风险估计与模型选择中的性能。

实验结果

研究问题

• RQ1 当均值模型为非凸时，如何在非线性最小二乘估计中一致地估计有效自由度？
• RQ2 将度量投影的散度用作自由度估计时，其偏差的精确性质与大小为何？
• RQ3 在非凸设置下，基于散度的自由度估计能否通过Stein的无偏风险估计（SURE）提供无偏的风险估计？
• RQ4 与$ε_1$-约束估计相比，模型搜索如何影响基于散度的自由度估计器的偏差？
• RQ5 Randon测度$\nu$在表征真实自由度与散度估计之间差异方面起什么作用？

主要发现

• 度量投影估计量的散度始终有定义，但由于约束集$K$的非凸几何结构，通常存在负偏差。
• 基于散度的自由度估计偏差可精确表示为Randon测度$\nu$在度量投影非可微点集上的积分。
• 在$\ell_1$-约束线性ODE估计背景下，散度提供了计算上可行且准确的自由度估计，且SURE风险估计几乎无偏。
• 在模型搜索中，基于散度的自由度显著低估了真实自由度，导致过拟合并选择过于复杂的模型。
• 在ODE示例中，$|\mathcal{A}| - 1$对散度的近似被证明足够准确且计算高效，为精确计算提供了一种实用替代方案。
• 在度量投影为局部Lipschitz的邻域（例如在近似强正则性条件下）中，测度$\nu$为零，提示了在约束集附近高概率区域中边界偏差的可能路径。