[論文レビュー] Adaptive Optimal Nonparametric Regression and Density Estimation Based on Fourier-Legendre Expansion

E. Ostrovsky, Y. Zelikov|arXiv (Cornell University)|Jun 6, 2007

Image and Signal Denoising Methods参考文献 18被引用数 5

ひとこと要約

本稿では、$L_2$ の正則部分空間全域で漸近的に最適な収束速度を達成する、フーリエ・レジェンドル展開を用いた適応的最適非パラメトリック回帰および密度推定を提案する。滑らかさの推定の一貫性とレジェンドル多項式展開を活用し、尾確率が指数的に減少する指数的適応的信頼区間（ACI）を導入することで、実データおよびシミュレートされたデータにおいて、周期的でない関数に対して特にトランスクリプトおよびウェーブレットベースの手法を上回る、普遍的で単純かつ高精度な実装が可能となる。

ABSTRACT

Motivated by finance and technical applications, the objective of this paper is to consider adaptive estimation of regression and density distribution based on Fourier-Legendre expansion, and construction of confidence intervals - also adaptive. The estimators are asymptotically optimal and adaptive in the sense that they can adapt to unknown smoothness.

研究の動機と目的

• 関数の滑らかさに関する事前知識が不要な、回帰および密度推定の適応的推定器の開発を目的とする。
• すべての $L_2[-1,1]$ の正則部分空間において、収束速度の漸近的最適性を達成すること。
• 尾確率が標本サイズとともに指数的に減少する適応的信頼区間（ACI）の構築。
• レジェンドル多項式展開に基づく、普遍的で単純かつ実装可能な手法の提供。
• 特に周期的でない関数および実際の金融データにおいて、既存の手法（特に三角関数およびウェーブレットベースの推定器）を上回ること。

提案手法

• 未知関数を $L_2[-1,1]$ で展開するための正規直交レジェンドル多項式 $L_j(x)$ を、フーリエ・レジェンドル級数展開の基底として用いる。
• バイアスとバリアンスのバランスを最適化するため、データ駆動の基準により適応的次数 $N(n)$ で級数を切り捨てることで、回帰および密度関数を推定する。
• 滑らかさパラメータ $\gamma = \lim_{N\to\infty} \rho(2N)/\rho(N)$ の一貫性推定器 $\hat{\gamma}$ を用いる。ここで $\rho(N)$ は、次数 $N$ を超える部分の関数の尾 $L_2$ ノルムを測る。
• 推定された分散項 $\tau^*(n)$ と、指数的尾確率バウンドから導かれるしきい値 $u(\delta)$ を用いて、適応的信頼区間を構築する。
• マルティンゲールおよび集中不等式を用いて、信頼区間の尾確率に対する指数的バウンドを導出し、確率的誤差が急速に減少することを保証する。
• シミュレーションおよび実際の金融データを用いた妥当性の検証を行い、カーネル推定器およびウェーブレット推定器と比較して優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 滑らかさに関する事前知識がなくても、レジェンドル多項式展開を用いた適応的非パラメトリック回帰および密度推定が、最適な収束速度を達成できるか。
• RQ2 信頼区間の尾確率が標本サイズとともに指数的に減少するような、適応的信頼区間をどのように設計できるか。
• RQ3 滑らかさパラメータ $\gamma$ の一貫性推定器の存在を保証する関数の尾 $\rho(N)$ に対する条件は何か。
• RQ4 本手法は、特に周期的でない関数において、三角関数およびウェーブレットベースの推定器と比較して、精度が優れているか。
• RQ5 関数の尾 $\rho(N) \geq q^N$ を満たす無限次元的条件 $q \in (0,1)$ の下で、レジェンドルに基づく推定器は最適性と適応性を維持できるか。

主な発見

• 提案された推定器は、$L_2[-1,1]$ のすべての正則部分空間において、与えられた滑らかさクラスに最も適した収束速度を漸近的に達成する。
• 指数的尾確率減少を示す適応的信頼区間が構築され、$\mathbf{P}^{+}_{f}(u) \leq 2\exp(-\phi(C, n, \tau^*(n)) u^{r/2})$ となる。これにより、誤差確率が急速に減少し、高い信頼性が保証される。
• 推定器 $\hat{f}$ は、$\overline{\lim}_{n\to\infty} \|\hat{f}-f\|^2 / B(n) \leq 1/(1-\gamma)$ を満たす。ここで $B(n)$ は最適なバイアス・バリアンストレードオフ項である。
• レジェンドル多項式の近似特性が優れているため、周期的でない状況では、三角関数推定器 [Ostrovsky, Sirota, 2004] よりも優れた性能を示す。
• シミュレートデータおよび実際の金融データに対する実験結果は、古典的カーネル推定器およびウェーブレット推定器よりも優れた精度を確認する。
• 信頼区間 $||\hat{f}-f||^2 \leq \tau^*(n)/(1-\hat{\gamma}) + \tau^*(n)u(\delta)$ は、$u(\delta)$ を指数的尾バウンドから導出し、信頼度 $1-\delta$ を達成する。また、モデル不適合の下でもロバストである。