[論文レビュー] Nonlinear function-on-function regression by RKHS

Peijun Sang, Bing Li|arXiv (Cornell University)|Jul 17, 2022

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、関数的予測変数と関数的応答の間の複雑な非線形関係を捉えるために、ネストされた再生核ヒルバート空間（RKHS）を用いた非線形関数-関数回帰モデルを提案する。予測変数の1次層ヒルバート空間上に2次層RKHSを構築することにより、柔軟な非線形モデリングが可能となり、ややいびつな正則性条件のもとで予測応答の収束速度および弱収束性が確立される。

ABSTRACT

We propose a nonlinear function-on-function regression model where both the covariate and the response are random functions. The nonlinear regression is carried out in two steps: we first construct Hilbert spaces to accommodate the functional covariate and the functional response, and then build a second-layer Hilbert space for the covariate to capture nonlinearity. The second-layer space is assumed to be a reproducing kernel Hilbert space, which is generated by a positive definite kernel determined by the inner product of the first-layer Hilbert space for $X$--this structure is known as the nested Hilbert spaces. We develop estimation procedures to implement the proposed method, which allows the functional data to be observed at different time points for different subjects. Furthermore, we establish the convergence rate of our estimator as well as the weak convergence of the predicted response in the Hilbert space. Numerical studies including both simulations and a data application are conducted to investigate the performance of our estimator in finite sample.

研究の動機と目的

• 関数的予測変数と関数的応答がともに確率的関数であるような非線形回帰フレームワークの構築を目的とする。
• 関数データ解析における関数-関数回帰の分野で、柔軟で非パラメトリックな手法の不足を補うことを目的とする。
• 推定手順において、不規則に配置されたまたはスパースな関数的観測を扱えるようにすることを目的とする。
• 提案された推定量の理論的収束速度および弱収束性を確立することを目的とする。

提案手法

• 本手法はネストされたヒルバート空間構造を構築する：関数的予測変数 $X$ はヒルバート空間 $\mathcal{H}_X$ に属し、その上に、$\mathcal{H}_X$ の内積から導かれる正定値カーネルを用いて2次層RKHSを構築する。
• 回帰作用素は2次層RKHSから応答ヒルバート空間 $\mathcal{H}_Y$ へマッピングされ、非線形な関数的関係を可能にする。
• 安定性と収束性を確保するため、推定にはチホノフ正則化を用い、RKHS枠組みにおける代表定理を活用する。
• カーネルに基づく推定において観測されたデータポイントを直接用いることで、不規則に配置されたまたはスパースな関数的データを扱える。
• 推定は、推定量の複雑さを制御するためのペナルティ項を含む経験的リスク最小化に基づく。
• ややいびつな正則性条件のもとで、予測応答の弱収束性が確立され、推論の漸近的妥当性が保証される。

実験結果

リサーチクエスチョン

• RQ1 複雑な関数間の依存関係を柔軟にモデル化できる非線形関数-関数回帰モデルを構築できるか？
• RQ2 RKHSを用いたネストされたヒルバート空間構造は、非線形性を保ちつつ理論的取り扱いやすさをどのように達成できるか？
• RQ3 一般条件のもとで、推定された回帰作用素の収束速度はどの程度達成可能か？
• RQ4 関数的データが不規則またはスパースな時刻に観測された場合、この手法はどのように性能を発揮するか？
• RQ5 提案された推定手順のもとで、予測応答はヒルバート空間内で弱収束するか？

主な発見

• 提案された推定量は、潜在的な回帰作用素の滑らかさおよび共分散作用素の固有構造に依存する収束速度を達成する。
• $\mathcal{H}_Y$ における予測応答の弱収束性は、ややいびつなモーメントおよび正則性条件のもとで確立される。
• 数値的実験により、関数的データがスパースに観測されても、本手法は良好な予測性能を維持することが示された。
• 理論的解析により、予測変数および応答過程の正則性条件のもとで、推定量の漸近的一貫性が確認された。
• チホノフ正則化の使用により、数値的安定性が確保され、RKHS枠組みにおける代表定理の適用が可能になった。
• ネストされたヒルバート空間構造により、パラメトリックな形を仮定せずに、非パラメトリックかつ柔軟に非線形関数的関係をモデル化できる。