[論文レビュー] Kernel partial least squares for stationary data

Marco Singer, Tatyana Krivobokova+1 more|arXiv (Cornell University)|Jun 12, 2017

Spectroscopy and Chemometric Analyses参考文献 25被引用数 5

ひとこと要約

この論文は、定常的かつ従属するデータを用いた非パラメトリック回帰におけるカーネル部分最小二乗法（KPLS）の確率的収束速度を確立し、長距離相関が収束を遅くすることを示している。KPLS理論を定常的かつ従属する時系列に拡張し、ソース条件および有効次元性条件の下で収束速度を導出し、シミュレーションとタンパク質動態の事例研究を通じて検証した。その結果、優れた予測性能が確認された。

ABSTRACT

We consider the kernel partial least squares algorithm for non-parametric regression with stationary dependent data. Probabilistic convergence rates of the kernel partial least squares estimator to the true regression function are established under a source and an effective dimensionality condition. It is shown both theoretically and in simulations that long range dependence results in slower convergence rates. A protein dynamics example shows high predictive power of kernel partial least squares.

研究の動機と目的

• 定常的かつ従属する時系列データに対するカーネル部分最小二乗法（KPLS）理論を拡張すること。
• 時間的依存構造下でのKPLS推定量に対する明示的な確率的収束速度を導出すること。
• 長距離相関が短距離相関と比較して収束速度に与える影響を調査すること。
• シミュレーションと実世界のタンパク質動態データセットを用いて、手法の実証的妥当性を検証すること。
• KPLSが最適または遅い収束速度を達成するための理論的条件（ソース条件および有効次元性）を確立すること。

提案手法

• 非パラメトリック回帰における定常的入力データに対して、再生核ヒルベルト空間（RKHS）フレームワークを用いてKPLSを定式化する。
• 回帰モデル $ y_t = f^*(X_t) + \varepsilon_t $ を仮定し、$ \{X_t\} $ を定常的時系列、$ \varepsilon_t $ をi.i.d.ノイズとする。
• 定常過程に特化した濃度不等式を用いて収束速度を導出し、依存構造に依存する。
• 推定誤差を制限するために、ソース条件および有効次元性条件を分析に組み込む。
• 代表定理およびカーネルトリックを活用して、RKHS内での非パラメトリック学習を可能にする。
• 実験的および真の共分散作用素の作用素ノルム制御を通じて理論的バインドを導出し、$ (S + \lambda)^{-1/2}(S_n - S) $ を重要な量として用いる。

実験結果

リサーチクエスチョン

• RQ1 定常的データにおける時間的依存構造は、カーネル部分最小二乗法推定量の収束速度にどのように影響するか？
• RQ2 一般の定常的依存構造下でも、KPLSの確率的収束速度を確立できるか？
• RQ3 長距離相関は、KPLSの収束速度を劣化させる役割を果たすか？
• RQ4 ソース条件および有効次元性条件は、依存性が存在する状況で収束速度にどのように影響するか？
• RQ5 タンパク質動態のような実世界の従属データにおいて、KPLSは強力な予測性能を維持するか？

主な発見

• 長距離相関が存在する場合、KPLSの収束速度は短距離相関よりも遅くなる。
• 短距離相関下では、i.i.d.設定と同様に最適な収束速度が達成される。
• 収束速度は有効次元性およびソース条件に依存し、依存性が長く続くほど速度が低下する。
• タンパク質動態の例では、KPLSが優れた予測能力を示し、実時間系列データへの実用的有用性が確認された。
• 理論的バインドにより、$ d_\lambda \leq D \log(1 + a/\lambda) $ が得られ、これは有効次元性を制御し、収束速度に影響を与える。
• 濃度不等式が定常過程に適応可能であることが確認され、従属状態下での非漸近的収束速度を導出するために不可欠である。