[論文レビュー] Single Trajectory Nonparametric Learning of Nonlinear Dynamics

Ingvar Ziemann, Henrik Sandberg+1 more|arXiv (Cornell University)|Feb 16, 2022

Control Systems and Identification被引用数 7

ひとこと要約

本稿は、非線形力学系の単一の観測軌道から非パラメトリック最小二乗推定（LSE）のレート最適誤差境界を確立する。情報理論的ツールと力学的安定性を活用することで、関数クラスのメトリックエントロピーが $ \delta^{-q} $ である場合、LSEが $ T^{-1/(2+q)} $ のミニマックス最適レートを達成することを示し、i.i.d. 非パラメトリック結果を従属する時系列設定へと拡張する。

ABSTRACT

Given a single trajectory of a dynamical system, we analyze the performance of the nonparametric least squares estimator (LSE). More precisely, we give nonasymptotic expected $l^2$-distance bounds between the LSE and the true regression function, where expectation is evaluated on a fresh, counterfactual, trajectory. We leverage recently developed information-theoretic methods to establish the optimality of the LSE for nonparametric hypotheses classes in terms of supremum norm metric entropy and a subgaussian parameter. Next, we relate this subgaussian parameter to the stability of the underlying process using notions from dynamical systems theory. When combined, these developments lead to rate-optimal error bounds that scale as $T^{-1/(2+q)}$ for suitably stable processes and hypothesis classes with metric entropy growth of order $δ^{-q}$. Here, $T$ is the length of the observed trajectory, $δ\in \mathbb{R}_+$ is the packing granularity and $q\in (0,2)$ is a complexity term. Finally, we specialize our results to a number of scenarios of practical interest, such as Lipschitz dynamics, generalized linear models, and dynamics described by functions in certain classes of Reproducing Kernel Hilbert Spaces (RKHS).

研究の動機と目的

• 非線形力学系の単一軌道からの学習において、非パラメトリック最小二乗推定子（LSE）の非漸近的期待 $ L^2 $-誤差境界を確立すること。
• i.i.d. 設定からのミニマックス最適レートを、一般の仮説クラスを有する従属する時系列モデルへと拡張すること。
• 力学系理論のツールを用いて、LSEのサブガウスノイズパラメータと基礎となる力学的プロセスの安定性を結びつけること。
• 安定プロセスおよびメトリックエントロピー成長が $ \delta^{-q} $、$ q \in (0,2) $ である関数クラスに対して、$ T^{-1/(2+q)} $ のスケーリングを示すレート最適誤差境界を導出すること。
• リプシッツ力学系、一般化線形モデル、および再生核ヒルベルト空間（RKHS）といった実用的ケースに結果を特化すること。

提案手法

• 著者らは、オフセット複雑度とサブガウスノイズ集中を活用した情報理論的アプローチを用い、LSEの期待 $ L^2 $-誤差を制限する。
• 力学系理論の概念を用いて、ノイズのサブガウスパラメータと基礎となる力学的プロセスの安定性を関連付ける。
• 関数クラス $ \mathbb{F} $ のメトリックエントロピー、特に $ \log \mathcal{N}(\mathbb{F}, \|\cdot\|_{\infty}, \delta) \asymp \delta^{-q} $ を用いて、仮説空間の複雑さを定量化する。
• LSEは $ \hat{f} = \arg\min_{f \in \mathbb{F}} \frac{1}{T} \sum_{t=0}^{T-1} \|y_t - f(x_t)\|_2^2 $ として定義され、新たな反事後的軌道上で評価される。
• ノイズ分散 $ \sigma_w^2 $、空間的・時間的スプレッドの代理変数 $ \sigma_T^2(\mathbb{F}, P_\star) $、およびメトリックエントロピー成長率 $ q $ を含む境界を導出する。
• RBFカーネルに基づく関数を用いた自己回帰系における実験を通じて理論を検証し、対数スケールで $ -1/2 $ よりわずかに急な収束率が観測され、近似パラメトリックレートと整合的であることを示す。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック最小二乗推定子は、非線形ダイナミクスの単一軌道学習においてミニマックス最適レートを達成できるか？
• RQ2 基礎となる力学的プロセスの安定性は、LSEの推定誤差にどのように影響するか？
• RQ3 LSE誤差は、関数クラスのメトリックエントロピーおよび説明変数の時間的スプレッドに、どのように依存するか？
• RQ4 理論的誤差境界は、i.i.d. 設定を超えて、従属観測を持つ一般の時系列モデルへと拡張可能か？
• RQ5 リプシッツ関数、一般化線形モデル、およびRBFカーネルを有するRKHSといった特定の関数クラスにおける収束レートは何か？

主な発見

• 適切な安定性条件下で、関数クラスのメトリックエントロピー成長が $ \delta^{-q} $、$ q \in (0,2) $ である場合、LSEはミニマックス最適レート $ T^{-1/(2+q)} $ を達成する。
• LSEのサブガウスパラメータは力学的プロセスの安定性と関連づけられ、これによりレート最適境界が導出可能となる。
• リプシッツ力学系の場合、適切な正則性のもとで誤差境界は $ T^{-1/2} $ に比例し、パラメトリックレートと一致する。
• RBFカーネルを有するRKHSの関数に対しては、指数的固有値減衰が反映され、対数スケールで $ -1/2 $ よりわずかに急な近似パラメトリック収束レートが得られる。
• 境界はノイズ分散 $ \sigma_w^2 $、説明変数の空間的・時間的スプレッド $ \sigma_T^2(\mathbb{F}, P_\star) $、および関数クラスのメトリックエントロピーに依存する。
• RBFベースのダイナミクスに対する実験的検証により、理論的レートが確認され、観測された収束勾配は $ -1/2 $ よりわずかに小さいことが判明し、近似パラメトリック挙動と整合的である。