[論文レビュー] Degrees of freedom for nonlinear least squares estimation

Niels Richard Hansen, Alexander Sokol|arXiv (Cornell University)|Feb 12, 2014

Probabilistic and Robust Engineering Design参考文献 21被引用数 9

ひとこと要約

本稿は、非凸幾何構造に起因するバイアスを持つが明確に定義された度数自由の推定として、非線形最小二乗推定における有効自由度を推定する一般枠組みを確立する。主な貢献は、バイアスの正確な表現をラドン測度を用いて行うことであり、これにより特にシステム生物学における $ε_1$-制約付きODEモデルのような非凸モデルにおいて、スティーブンの不偏リスク推定（SURE）を用いたリスク推定の改善が可能になる。

ABSTRACT

We give a general result on the effective degrees of freedom for nonlinear least squares estimation, which relates the degrees of freedom to the divergence of the estimator. We show that in a general framework, the divergence of the least squares estimator is a well defined but potentially negatively biased estimate of the degrees of freedom, and we give an exact representation of the bias. This implies that if we use the divergence as a plug-in estimate of the degrees of freedom in Stein's unbiased risk estimate (SURE), we generally underestimate the true risk. Our result applies, for instance, to model searching problems, yielding a finite sample characterization of how much the search contributes to the degrees of freedom. Motivated by the problem of fitting ODE models in systems biology, the general results are illustrated by the estimation of systems of linear ODEs. In this example the divergence turns out to be a useful estimate of degrees of freedom for $\ell_1$-constrained models.

研究の動機と目的

• 非凸平均値モデルにおける非線形最小二乗推定量の有効自由度の有限標本特性を確立すること。
• システム生物学におけるODEモデルが本質的に非線形的かつ非凸的であるため、不偏リスク推定の課題に対処すること。
• 非凸性のため発生する可能性のある負のバイアスにもかかわらず、メトリック射影の発散を自由度の代理として用いる理論的基盤を提供すること。
• 線形ODEの $ε_1$-制約付き推定において、発散に基づく自由度推定の適用性と精度を実証すること。
• 発散に基づく自由度推定におけるバイアスを定量化し、真の自由度と推定自由度の乖離を測度論的表現で記述すること。

提案手法

• 閉集合 $K \subseteq \mathbb{R}^n$ へのメトリック射影を用いて、非線形最小二乗推定量に対するスティーブンの補題の一般化を導出する。
• 凸関数のほとんど everywhere での微分可能性を保証するアレクサンドロフの定理を用い、メトリック射影のほとんど everywhere での微分可能性を確立する。
• 発散に基づく自由度推定のバイアスを、メトリック射影の非微分点集合上に台を持つラドン測度 $\nu$ を含む積分として表現する。
• $\ell_1$-制約付き非線形最小二乗推定に理論を適用し、特に線形ODE系に焦点を当てる。
• 発散の計算に向けた2つの公式を提案：1つはパrametrizedモデルに基づくもの、もう1つは陰関数微分または抽象的変分解析を用いるもの。
• シミュレーションと解析的例を用いて発散公式の妥当性を検証し、リスク推定およびモデル選択における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 平均値モデルが非凸である非線形最小二乗推定において、有効自由度を一貫して推定する方法は何か？
• RQ2 メトリック射影の発散を自由度推定に用いる際のバイアスの正確な性質と大きさは何か？
• RQ3 非凸設定において、発散に基づく自由度推定がスティーブンの不偏リスク推定（SURE）を用いて不偏なリスク推定を可能にするか？
• RQ4 モデル探索の際、$ε_1$-制約付き推定と比較して、発散に基づく自由度推定器のバイアスはどのように変化するか？
• RQ5 ラドン測度 $\nu$ は、真の自由度と発散推定値の乖離を特徴付ける上で果たす役割は何か？

主な発見

• メトリック射影推定量の発散は、制約集合 $K$ の非凸幾何構造に起因して一般に負のバイアスを持つが、常に明確に定義される。
• 発散に基づく自由度推定のバイアスは、メトリック射影の非微分点集合上に台を持つラドン測度 $\nu$ の積分として正確に表現される。
• 線形ODEの $\ell_1$-制約付き推定の文脈では、発散が計算的に実行可能かつ精度の高い自由度推定を提供し、SUREリスク推定はほぼ不偏となる。
• モデル探索の際、発散に基づく自由度推定は真の自由度を著しく低減し、過剰に複雑なモデルの選択を引き起こす。
• ODEの例において、発散の近似 $|\mathcal{A}| - 1$ は十分に精度が高く、正確な計算に代わる実用的で計算効率の良い代替手段であることが判明した。
• 測度 $\nu$ は、メトリック射影が局所リプシッツ的である領域（例：プロキシマル正則性下）ではゼロであることが示され、制約集合近傍の高確率領域におけるバイアスのバウンディングへの道筋が示唆される。