[論文レビュー] PCA-based estimation for functional linear regression with functional responses

Masaaki Imaizumi, Kengo Kato|arXiv (Cornell University)|Sep 1, 2016

Statistical Methods and Inference参考文献 27被引用数 4

ひとこと要約

本稿は、関数的線形回帰における関数的応答を伴うPCAに基づく推定器を提案し、不適切な逆問題におけるカーネル関数 $ b(s,t) $ の推定に注力する。単一の切り捨て推定器が、$ t $ における滑らかさと固有値の減少率にのみ依存する最小最大最適収束速度を達成することを確立し、二重の切り捨て推定器が最適性に達するための条件も提示する。

ABSTRACT

This paper studies a regression model where both predictor and response variables are random functions. We consider a functional linear model where the conditional mean of the response variable at each time point is given by a linear functional of the predictor variable. In this paper, we are interested in estimation of the integral kernel $b(s,t)$ of the conditional expectation operator, where $s$ is an output variable while $t$ is a variable that interacts with the predictor variable. This problem is an ill-posed inverse problem, and we consider two estimators based on the functional principal component analysis (PCA). We show that under suitable regularity conditions, an estimator based on the single truncation attains the convergence rate for the integrated squared error that is characterized by smoothness of the function $b (s,t)$ in $t$ together with the decay rate of the eigenvalues of the covariance operator, but the rate does not depend on smoothness of $b(s,t)$ in $s$. This rate is shown to be minimax optimal, and consequently smoothness of $b(s,t)$ in $s$ does not affect difficulty of estimating $b$. We also consider an alternative estimator based on the double truncation, and provide conditions under which the alternative estimator attains the optimal rate. We conduct simulations to verify the performance of PCA-based estimators in the finite sample. Finally, we apply our estimators to investigate the relation between the lifetime pattern of working hours and total income, and the relation between the electricity spot price and the wind power infeed.

研究の動機と目的

• 関数的予測子と関数的応答を伴う関数的線形モデルにおける積分カーネル $ b(s,t) $ の推定に取り組む。
• 不適切な逆問題の文脈において、PCAベースの推定器の収束速度を分析する。
• 入力変数 $ s $ における滑らかさが $ b(s,t) $ の推定の難易度に影響を与えるかを特定する。
• 異なる正則性条件の下での単一切り捨て推定器と二重切り捨て推定器の性能を比較する。
• 単一切り捨て推定器の収束速度の最小最大最適性を確立し、二重切り捨て推定器が同じレートに達するための条件を導出する。

提案手法

• 予測子 $ X(t) $ とカーネル $ b(s,t) $ を、$ X $ の共分散作用素の固有関数 $ \phi_k $ を用いて展開する関数的主成分分析（PCA）を用いる。
• 単一切り捨て推定器を提案し、展開式 $ b(s,t) = \sum_k \left[ \mathbb{E}(\xi_k Y(s)) / \mathbb{E}(\xi_k^2) \right] \phi_k(t) $ に基づき、$ n \to \infty $ の際に $ m_n \to \infty $ となるように級数を切り捨てる。
• 二重切り捨て推定器を提案し、同時展開 $ b(s,t) = \sum_{j,k} \left[ \mathbb{E}(\eta_j \xi_k) / \mathbb{E}(\xi_k^2) \right] \phi_j(s) \phi_k(t) $ を用い、$ m_{n,1}, m_{n,2} \to \infty $ となるように切り捨てる。
• i.i.d. 関数データに基づき、$ \mathbb{E}(\xi_k Y(s)) $、$ \mathbb{E}(\xi_k^2) $、および $ \phi_k $ の経験的推定器を用いる。
• 漸近的でないリスクバウンドと最小最大理論を適用し、下界を導出するためにアソアドの補題とカルバック・ライブラー発散を用いる。
• 統合二乗誤差の最小最大レートを導出し、それが $ t $ における滑らかさと共分散作用素の固有値の減少率にのみ依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 関数的応答を伴う関数的線形回帰におけるカーネル $ b(s,t) $ の推定における最適収束速度は何か？
• RQ2 $ b(s,t) $ の出力変数 $ s $ における滑らかさが推定の難易度に影響を与えるか？
• RQ3 適切な正則性条件の下で、単一切り捨てPCA推定器は最小最大最適レートに達するか？
• RQ4 二重切り捨て推定器が最適レートに達するための条件は何か？
• RQ5 提案された推定器は有限標本および実世界の応用においてどのように性能を発揮するか？

主な発見

• 単一切り捨てPCA推定器は、統合二乗誤差の収束速度が $ t $ における $ b(s,t) $ の滑らかさと、共分散作用素の固有値の減少率にのみ依存することを示した。
• 収束速度は $ s $ における $ b(s,t) $ の滑らかさに依存しないことから、$ s $ における滑らかさが推定の難易度に影響しないことが示された。
• 導出されたレートが最小最大最適であることが確認され、推定器の統計的効率性が裏付けられた。
• 二重切り捨て推定器も最適レートに達するが、$ s $ および $ t $ における $ b(s,t) $ の正則性に関するより強い条件を要する。
• シミュレーションにより、PCAベースの推定器の有限標本における性能が確認され、実用的有用性が支持された。
• 勤務時間と収入、風力発電と電力価格の実データへの応用を通じて、本手法の実証的関連性が示された。