[論文レビュー] Optimal designs for series estimation in nonparametric regression with correlated data

Holger Dette, Maria Konstantinou+1 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Statistical Process Monitoring参考文献 16被引用数 2

ひとこと要約

本稿は、マルコフ連続時間誤差過程を想定した連続時間モデルにおいて、最良線形オラクル推定量を導出し、相関誤差を伴う非パラメトリック回帰における系列推定量の最適設計戦略を提案する。最適設計点を用いて統計的推定量を構築し、平均二乗誤差の統合を最小化する。シミュレーションにより、特に小標本および構造的相関（例えばブラウン運動）の下では、標準推定量と比較して推定誤差が顕著に低減されることを示している。

ABSTRACT

In this paper we investigate the problem of designing experiments for series estimators in nonparametric regression models with correlated observations. We use projection based estimators to derive an explicit solution of the best linear oracle estimator in the continuous time model for all Markovian-type error processes. These solutions are then used to construct estimators, which can be calculated from the available data along with their corresponding optimal design points. Our results are illustrated by means of a simulation study, which demonstrates that the new series estimator has a better performance than the commonly used techniques based on the optimal linear unbiased estimators. Moreover, we show that the performance of the estimators proposed in this paper can be further improved by choosing the design points appropriately.

研究の動機と目的

• 相関誤差を伴う非パラメトリック回帰における最適設計理論のギャップを埋める。
• マルコフ連続時間誤差過程を伴う連続時間モデルにおいて、最良線形オラクル推定量の明示的解を導出する。
• 最適設計点を用いて、離散観測から実用的でデータ駆動型の推定量を構築する。
• 最適時間点選択によって統合平均二乗誤差を最小化し、推定精度を向上させる。

提案手法

• 相関誤差を伴う連続時間非パラメトリック回帰モデルにおいて、フーリエ係数の最良線形オラクル推定量を導出する。
• 射影に基づく推定を用い、一般のマルコフ連続時間誤差構造の下で最適推定量を解く。
• 二段階的手法を適用する：第一に、全軌道データを仮定してオラクル推定量を計算する。第二に、それらを離散観測を用いて近似する。
• 連続オラクル解に対する離散近似の平均二乗誤差を最小化することで、最適設計点を導出する。
• 正規直交基底関数による設計行列の特異性に対処するため、一般化逆行列を用いる。
• 離散設計問題を連続的枠組みに近似するために、漸近的埋め込み技術を採用する。

実験結果

リサーチクエスチョン

• RQ1 誤差が相関している非パラメトリック回帰における系列推定量の最適設計点は、どのように導出可能か？
• RQ2 マルコフ連続時間誤差を伴う連続時間モデルにおいて、フーリエ係数の最良線形オラクル推定量の形は何か？
• RQ3 提案手法の推定量は、相関誤差構造下での標準線形不偏推定量と比較して、どのように性能を示すか？
• RQ4 有限標本において、最適設計選択は統合平均二乗誤差をどの程度低減するか？
• RQ5 最適設計点は、誤差共分散カーネルの具体的な構造にどのように依存するか？

主な発見

• 指数共分散核を想定した n = 4 の場合、最適設計は非最適化設計と比較して平均二乗誤差を 65–70% 減少させる。
• n = 7 の場合、最適設計は依然として顕著な改善をもたらすが、標本サイズが増加するにつれてその利点は薄れる。
• ブラウン運動誤差の下では、提案推定量 ˆf(J),n は、基準推定量 ˇf(J),n と比較して、すべての設定において統合平均二乗誤差を 16–27% 減少させる。
• 最適設計点（例：n=4 の場合の 0.00, 0.25, 0.47, 1.00）は、指数核とは顕著に異なり、誤差構造に依存することが示された。
• すべてのシミュレーション状況において、推定量 ˆf(J),n は ˇf(J),n を上回る性能を示し、特に小標本で最大の利点が得られた。
• 一般化逆行列の使用により、定数基底関数による設計行列の特異性に対しても安定した推定が可能となった。