[論文レビュー] Mixed linear-nonlinear least squares regression

Alberto Herrera‐Gómez, R. Michael Porter|arXiv (Cornell University)|Mar 12, 2017

Statistical and numerical algorithms参考文献 6被引用数 3

ひとこと要約

本稿では、線形パラメータを正確な最小二乗解を用いて扱うことで最適化を加速する、混合線形・非線形最小二乗回帰手法を提案する。非線形反復回数を削減する。線形パラメータの数値近似を置き換える「ショートカット微分」を計算することで、Levenberg-Marquardt やその他の勾配ベース手法と完全に互換性を保ちつつ、特に線形パラメータが優勢な場合に速度と安定性を向上させる。

ABSTRACT

The problem of fitting experimental data to a given model function $f(t; p_1,p_2,\dots,p_N)$ is conventionally solved numerically by methods such as that of Levenberg-Marquardt, which are based on approximating the Chi-squared measure of discrepancy by a quadratic function. Such nonlinear iterative methods are usually necessary unless the function $f$ to be fitted is itself a linear function of the parameters $p_n$, in which case an elementary linear Least Squares regression is immediately available. When linearity is present in some, but not all, of the parameters, we show how to streamline the optimization method by reducing the "nonlinear activity" to the nonlinear parameters only. Numerical examples are given to demonstrate the effectiveness of this approach. The main idea is to replace entries corresponding to the linear terms in the numerical difference quotients with an optimal value easily obtained by linear regression. More generally, the idea applies to minimization problems which are quadratic in some of the parameters. We show that the covariance matrix of $χ^2$ remains the same even though the derivatives are calculated in a different way. For this reason, the standard non-linear optimization methods can be fully applied.

研究の動機と目的

• すべてのパラメータを非線形として扱う標準的な非線形最小二乗フィッティングにおける非効率性、特に一部のパラメータが線形に現れる場合の問題を解決すること。
• 線形および非線形パラメータを併用するモデルのフィッティングにおいて、計算コストを低減し、数値的安定性を向上させること。
• 線形構造を活用して最適化を簡素化しつつ、標準的な非線形ソルバーの収束特性を損なわない方法を開発し、数学的に正当化すること。
• ショートカット微分を用いる場合に、カイ二乗関数の共分散行列が変化しないことを示すことにより、標準誤差推定の統計的妥当性を保証すること。

提案手法

• 線形パラメータの数値差分商の代わりに、線形最小二乗からの解析的最適値を用いることで「ショートカット微分」の概念を導入する。
• パラメータ $ q_1, \dots, q_N $ に対して線形なモデル関数について、固定された $ \vec{p} $ に対して $ \vec{q}^*(\vec{p}) $ を最小二乗解として計算し、$ \vec{q} $ の反復的更新の必要性を排除する。
• 得られた $ \vec{q}^*(\vec{p}) $ を用いて、非線形パラメータ $ p_1, \dots, p_M $ に関するモデル関数の正確な偏微分を計算し、$ \chi^2 $ の「ショートカット」勾配およびヘッセ行列を構築する。
• チェインルールと $ \vec{q}^*(\vec{p}) $ の解析的解を用いて、$ \vec{p} $ に関する $ \chi^2 $ のショートカットヘッセ行列を導出する。これにより、線形パラメータの数値微分を回避できる。
• Levenberg-Marquardt などの標準的な非線形最適化アルゴリズムを、ショートカット微分を用いて適用する。これらは完全に数値的微分よりも計算コストが低く、精度も高い。
• ショートカット法を用いた場合に、$ \chi^2 $ の共分散行列が古典的手法と同一であることを証明する。これにより、統計的推論の性質が保たれる。

実験結果

リサーチクエスチョン

• RQ1 線形パラメータを反復的に扱う代わりに解析的に解くことで、非線形最小二乗フィッティングの計算コストを低減できるか？
• RQ2 線形パラメータの数値微分を正確な最小二乗解に置き換えることで、非線形回帰における共分散行列の統計的性質が保持されるか？
• RQ3 ショートカット法の収束速度と数値的安定性は、古典的手法と比較してどのように異なるか？
• RQ4 ショートカット法の計算複雑度は何か？時間的および反復回数の観点から、古典的手法を上回る状況はどのようなときか？
• RQ5 ショートカット法は、スペクトロスコピーにおけるピークデコンボリューションなどの実世界のフィッティング問題に適用可能か？また、より頑健な結果をもたらすか？

主な発見

• ショートカット法では、非線形パラメータに関する $ \chi^2 $ のヘッセ行列の計算コストが、古典的手法の $ O((M+N)^3) $ に対して、$ O(M^2N) + O(MN^3) $ に低減され、$ M \ll N $ の場合に顕著な高速化が達成される。
• ショートカット法を用いた場合でも、$ \chi^2 $ の共分散行列は古典的手法と同一であり、標準誤差や信頼区間が統計的に妥当なままである。
• 数値例において、ショートカット法は古典的手法よりも反復回数が少なく、特に線形パラメータが優勢な場合に著しく計算時間を短縮した。
• ショートカット微分技術は、すべてのパラメータを非線形として扱う方法よりも、より頑健で高速であることが判明した。特に、複数の指数関数的ピークが線形に重ね合わされたモデルでは顕著であった。
• 定理5で提示された理論的正当化により、ショートカット法で計算されたヘッセ行列の逆行列の対角成分が、完全なヘッセ行列のそれと一致することが確認され、先行ソフトウェアで観察された経験的妥当性が裏付けられた。