[論文レビュー] Large Sample Properties of Partitioning-Based Series Estimators

Matias D. Cattaneo, Max H. Farrell+1 more|arXiv (Cornell University)|Apr 13, 2018

Statistical Methods and Inference参考文献 58被引用数 9

ひとこと要約

本稿は、非パラメトリック回帰におけるパーティショニングベースの系列推定量の標本サイズが大きい際の性質を確立し、一般化されたバイアスの特徴付け、チューニングパラメータ選択のための統合平均二乗誤差（IMSE）展開、およびアンダースムージングとロバストバイアス補正を用いた一様推論手法を提供する。特に1変量の場合に、一様分布近似のための収束速度が向上し、最小限のレート制限が適用される。これらの結果はスプライン、ウェーブレット、および区分的多項式に適用される。

ABSTRACT

We present large sample results for partitioning-based least squares nonparametric regression, a popular method for approximating conditional expectation functions in statistics, econometrics, and machine learning. First, we obtain a general characterization of their leading asymptotic bias. Second, we establish integrated mean squared error approximations for the point estimator and propose feasible tuning parameter selection. Third, we develop pointwise inference methods based on undersmoothing and robust bias correction. Fourth, employing different coupling approaches, we develop uniform distributional approximations for the undersmoothed and robust bias-corrected t-statistic processes and construct valid confidence bands. In the univariate case, our uniform distributional approximations require seemingly minimal rate restrictions and improve on approximation rates known in the literature. Finally, we apply our general results to three partitioning-based estimators: splines, wavelets, and piecewise polynomials. The supplemental appendix includes several other general and example-specific technical and methodological results. A companion R package is provided.

研究の動機と目的

• パーティショニングベースの系列推定量の非パラメトリック回帰における大標本特性を分析する一般枠組みを構築すること。
• チューニングパラメータ選択およびバイアス補正に用いるため、これらの推定量の主要な漸近的バイアスを特徴付けること。
• 最適なチューニングパラメータ選択を導くため、統合平均二乗誤差（IMSE）展開を導出すること。
• アンダースムージングとロバストバイアス補正を用いて、点推定および一様推論手法を確立すること。
• 特に1変量の場合に、最小限のレート制限で有効となる、t統計量プロセスのための一様分布近似を提供すること。

提案手法

• 説明変数空間を互いに素な多面体セルに分割することにより、パーティショニングベースの系列推定量の一般化された漸近的バイアス近似を導出する。
• 最適な分割の細かさ $ h $ の選択を支援するため、統合平均二乗誤差（IMSE）展開を開発し、$ h_{ ext{IMSE}} riangleq n^{-1/(2m+d)} $ であることを示す。ここで $ m $ は基本関数の次数である。
• IMSE 展開に基づく実用的なチューニングパラメータ選択法を提案し、最適な収束速度を保証する。
• アンダースムージングとロバストバイアス補正技術を用いて、有効な点推定および一様信頼区間を構築する。
• 新規のカップリング手法を用いて、t統計量プロセスの一様分布近似を導出し、収束速度を改善する。
• 一般枠組みを3つの特定の推定量（Bスプライン、コンパクトにサポートされたウェーブレット、区分的多項式）に適用し、理論的およびシミュレーション結果を詳細に提示する。

実験結果

リサーチクエスチョン

• RQ1 パーティショニングベースの系列推定量の主要な漸近的バイアスの一般形は何か？ また、バイアス補正およびチューニングパラメータ選択にどのように利用できるか？
• RQ2 これらの推定量の統合平均二乗誤差（IMSE）展開は何か？ そして、最適なチューニングパラメータ選択にどのように寄与するか？
• RQ3 アンダースムージングとロバストバイアス補正を用いて、非パラメトリック回帰におけるt統計量プロセスのための一様推論をどのように行えるか？
• RQ4 t統計量プロセスのための一様分布近似は何か？ 有効性を保証するためのレート制限は何か？
• RQ5 一般結果は、スプライン、ウェーブレット、および区分的多項式といった特定の推定量にどのように適用されるか？

主な発見

• IMSEに最適な分割の細かさは $ h_{ ext{IMSE}} riangleq n^{-1/(2m+d)} $ であり、展開における主要定数の明確な特徴付けがなされている。
• アンダースムージングおよびロバストバイアス補正を施したt統計量プロセスの一様分布近似は、既存の文献と比較して収束速度が向上しており、特に1変量の場合に顕著である。
• $ d=1 $ の場合、新規のカップリングアプローチのおかげで、見かけ上最小限のレート制限で一様近似が成立し、適用範囲が拡大される。
• ロバストバイアス補正およびアンダースムージング手法により、全説明変数空間 $ ar{f X} $ にわたる一様な被覆率を持つ有効な信頼区間が得られる。
• 理論的枠組みはBスプライン、コンパクトにサポートされたウェーブレット、および区分的多項式に適用され、それぞれについて新たな有限標本および漸近的結果が得られた。
• 提案手法の実装を可能にするRパッケージ `lspartition` も併せて提供されている。