[論文レビュー] Optimal Estimation of Brownian Penalized Regression Coefficients

Paramahansa Pramanik, Alan M. Polansky|arXiv (Cornell University)|Jul 5, 2021

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、係数がブラウン運動を介して時間的に変化し、確率微分方程式を通じて罰則が加えられる関数データ解析における時刻に依存する回帰係数の最適推定のための、新しい経路積分に基づくフレームワークを提案する。量子ラグランジアンを定式化し、シュレーディンガー型方程式を導出することで、LASSO、ファースト・LASSO、および3次スプラインを含むさまざまな罰則スキームにおいて、1次最適性条件を用いて係数の閉形式解が得られる。

ABSTRACT

In this paper we introduce a new methodology to determine an optimal coefficient of penalized functional regression. We assume the dependent, independent variables and the regression coefficients are functions of time and error dynamics follow a stochastic differential equation. First we construct our objective function as a time dependent residual sum of square and then minimize it with respect to regression coefficients subject to different error dynamics such as LASSO, group LASSO, fused LASSO and cubic smoothing spline. Then we use Feynman-type path integral approach to determine a Schrödinger-type equation which have the entire information of the system. Using first order conditions with respect to these coefficients give us a closed form solution of them.

研究の動機と目的

• 予測子と係数の両方が時間の関数である場合に、時刻に依存する回帰係数を推定するための動的フレームワークを構築すること。
• 従来の罰則付き回帰の限界を克服し、係数の時間的変化を確率微分方程式（SDE）のダイナミクスで記述すること。
• 静的または決定論的係数モデルを超えて、罰則構造にブラウン運動を組み込むことで、既存の手法を拡張すること。
• ファインマン型経路積分アプローチを用いて、さまざまな罰則タイプ（LASSO、ファースト・LASSO、スプラインなど）のもとで回帰係数の閉形式解を導出すること。
• 古典的最適化を一般化し、ポントレヤーギンの最大原理の限界を克服する、量子にインspiredされたフレームワークを確立すること。

提案手法

• 時刻に依存する回帰係数を伴う関数的回帰の目的関数として、時間に依存する残差平方和（RSS）を定式化する。
• 係数と共変量に依存するドリフトおよび拡散成分を有する確率微分方程式（SDE）を用いて誤差過程をモデル化する。
• 小さな時間間隔に対して正の罰則パラメータを用いて量子ラグランジアンを構築し、システムのダイナミクスをエンコードするファインマン型経路積分を適用する。
• 経路積分からシュレーディンガー型方程式を導出し、システムの完全な確率的および動的挙動を捉える。
• シュレーディンガー方程式に1次最適性条件を適用し、最適回帰係数の閉形式表現を導出する。
• ウィック回転と漸近的展開を用いてシュレーディンガー方程式を簡略化し、各係数の最適性条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 係数のダイナミクスが確率微分方程式に従う場合、時刻に依存する回帰係数をどのように最適に推定できるか。
• RQ2 標準的な罰則を超えて、ブラウン運動が関数的回帰係数の正則化に果たす役割は何か。
• RQ3 ファインマン型経路積分の定式化は、動的設定下でLASSO、ファースト・LASSO、およびスプライン罰則のもとで回帰係数の閉形式解を導出可能か。
• RQ4 ファインマン経路積分アプローチは、非微分可能な罰則を伴う関数的回帰における古典的最適化をどのように一般化するか。
• RQ5 この罰則付き回帰フレームワークにおいて、経路積分の存在および収束を保証する条件は何か。

主な発見

• ドリフトおよび拡散係数にやや弱い正則性条件が課されれば、経路積分の定式化が成立することが、補題1および補題2で証明された。
• 経路積分からシュレーディンガー型方程式が導出され、システムの完全なダイナミクスを記述し、最適係数推定を可能にする。
• シュレーディンガー方程式に1次最適性条件を適用することで、回帰係数の閉形式解が得られた。
• LASSOおよび関連罰則の場合、非可微分性の問題を避けるために係数が非ゼロであると仮定し、取り扱い可能な解が得られた。
• スプラインベースのモデルへは、罰則項において基底関数を h(X_ij') として表現することで一般化可能であり、例8では動的3次スプライン平滑化が示された。
• 最適係数 β_j'(s) は、有効ラグランジアンの偏微分から導かれる1次条件を満たし、解ける方程式系に帰着する。