[論文レビュー] Nonparametric estimation in functional linear models with second order stationary regressors

Jan Johannes|ArXiv.org|Jan 27, 2009

Statistical Methods and Inference参考文献 25被引用数 4

ひとこと要約

本稿では、2次モーメント定常回帰変数を伴う関数線形モデルに対して、フーリエドメインにおけるしきい値処理を施した直交級数推定量を提案し、多様な正則性条件および共分散作用素の連結条件の下で最小最大最適収束速度を達成する。主な貢献は、Sobolev型の滑らかさと有限または無限に滑らかくなる共分散作用素に対して、予測および微分推定の両面で統一的な最小最大理論を確立することにある。

ABSTRACT

We consider the problem of estimating the slope parameter in functional linear regression, where scalar responses Y1,...,Yn are modeled in dependence of second order stationary random functions X1,...,Xn. An orthogonal series estimator of the functional slope parameter with additional thresholding in the Fourier domain is proposed and its performance is measured with respect to a wide range of weighted risks covering as examples the mean squared prediction error and the mean integrated squared error for derivative estimation. In this paper the minimax optimal rate of convergence of the estimator is derived over a large class of different regularity spaces for the slope parameter and of different link conditions for the covariance operator. These general results are illustrated by the particular example of the well-known Sobolev space of periodic functions as regularity space for the slope parameter and the case of finitely or infinitely smoothing covariance operator.

研究の動機と目的

• 回帰変数が2次モーメント定常である場合の関数線形モデルにおけるスロープ関数の非パラメトリック推定量を開発すること。
• 広範な正則性空間および共分散作用素の連結条件の下で、推定量の最小最大最適収束速度を確立すること。
• 予測の平均二乗誤差と微分推定の平均積分二乗誤差といった性能指標を統一すること。
• Sobolev型の滑らかさ空間および共分散作用素の多様な滑らかさの挙動に対して、提案された推定量が最小最大の意味で最適であることを示すこと。

提案手法

• スロープ関数を正規直交基底で展開し、その係数をデータから推定することで直交級数推定量を構築する。
• 滑らかさの悪い共分散作用素に起因する逆問題を安定化するため、フーリエドメインでしきい値処理を施す。
• 正則化によるスペクトルカットオフに依存し、バイアスと分散のバランスを取るために、切断レベルとしきい値を調整する。
• 理論的分析には、重み付きリスクの一般枠組みを用い、リスクは共分散作用素の固有値構造に基づいて測定される。
• 真のスロープ関数の滑らかさと、共分散作用素の固有値の減衰率に適応することで、最小最大収束速度を達成することが示された。
• 共分散作用素の固有値とスロープ関数の正則性との間の新しい連結条件を用いて、理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 2次モーメント定常回帰変数を伴う関数線形モデルにおけるスロープ関数推定の最小最大最適収束速度は何か？
• RQ2 フーリエドメインでのしきい値処理を施した直交級数推定量の、予測および微分推定における性能は、既存手法と比べてどうか？
• RQ3 同一の推定戦略が、異なる正則性空間および共分散作用素の種類に対して最小最大最適性を達成できるか？
• RQ4 共分散作用素の固有値とスロープ関数の滑らかさとの連結条件が収束速度に与える影響は何か？
• RQ5 Sobolev型の滑らかさ仮定および有限または無限に滑らかくなる共分散作用素の両方の下で、収束速度はどのように振る舞うか？

主な発見

• スペクトルカットオフを施した提案された直交級数推定量は、広範な正則性空間および連結条件の下で最小最大最適収束速度を達成する。
• Sobolev型の滑らかさと多項式的減衰する固有値の下では、最適な収束速度は $ n^{-1/(2p+2a+1)} $ であり、$ p $ は滑らかさを測るパラメータ、$ a $ は固有値の減衰を制御するパラメータである。
• 指数的減衰する固有値の下では、微分推定の順序 $ s $ に対して最適な収束速度は $ n^{-(2p-2s)/(2p+2a+1)} $ であり、$ m_* o ( ext{log} hinspace n)^{1/(2a)} $ となる。
• 同じチューニングルールのもとで、予測および微分推定の両方で最適な性能を達成でき、従来別々に分析されていたものを統一する。
• 最小最大下界は、固有関数展開に基づくテスト系列の新規構成と、$ ho $、$ riangle $ および固有値との連結条件を用いて導出された。
• 理論的結果は、未知の共分散構造に対しても頑健であり、しきい値処理によってデータ駆動の固有構造に適応するため、適応的である。