[論文レビュー] Quantile Processes for Semi and Nonparametric Regression

Shih-Kang Chao, Stanislav Volgushev+1 more|arXiv (Cornell University)|Apr 7, 2016

Statistical Methods and Inference参考文献 31被引用数 3

ひとこと要約

本稿は、次第に増加する次元を伴う線形モデル、非パラメトリックモデル、および部分線形モデルをカバーする一般化されたシリーズ近似フレームワークにおいて、分位数回帰過程（QRP）の弱収束を確立する。主な貢献は、部分線形モデルにおけるパラメトリック成分と非パラメトリック成分の漸近的独立性であり、剰余項に指数的尾部バウンドを伴う鋭いバーダール表現が得られ、分割統治設定下での推論が可能になる。

ABSTRACT

A collection of quantile curves provides a complete picture of conditional distributions. Properly centered and scaled versions of estimated curves at various quantile levels give rise to the so-called quantile regression process (QRP). In this paper, we establish weak convergence of QRP in a general series approximation framework, which includes linear models with increasing dimension, nonparametric models and partial linear models. An interesting consequence is obtained in the last class of models, where parametric and non-parametric estimators are shown to be asymptotically independent. Applications of our general process convergence results include the construction of non-crossing quantile curves and the estimation of conditional distribution functions. As a result of independent interest, we obtain a series of Bahadur representations with exponential bounds for tail probabilities of all remainder terms. Bounds of this kind are potentially useful in analyzing statistical inference procedures under divide-and-conquer setup.

研究の動機と目的

• 半パラメトリックおよび非パラメトリックモデルの一般化されたシリーズ推定フレームワークにおいて、分位数回帰過程（QRP）の弱収束を確立すること。
• 次元が増加するモデルや異なる収束速度を示すモデル（例えば部分線形モデル）における弱収束の課題に対処すること。
• 剰余項に指数的尾部バウンドを伴う鋭いバーダール表現を導出することにより、分割統治スキーム下での頑健な推論を可能にすること。
• 部分線形モデルにおけるパラメトリック成分と非パラメトリック成分の間の漸近的独立性を示すこと。
• 弱収束の結果を応用して、非交差分位数曲線の推定や条件付き分布関数の推定を可能にすること。

提案手法

• 基底関数展開を用いた条件付き分位数のシリーズ推定の一般枠組みを構築し、Z(x)⊤γn(τ) が τ-分位数 Q(x; τ) を近似する。
• 設計、誤差、および基底関数に関する正則性条件の下で、関数的デルタ法およびコンパクト微分可能性を用いてQRPの弱収束を導出する。
• パラメトリック推定量と非パラメトリック推定量の同時弱収束を示し、それらの漸近的独立性を確立することで、部分線形モデルにおけるQRPの弱収束を確立する。
• 指数的尾部不等式を用いて、確率的に有界な剰余項を伴うシリーズ推定量の基本的バーダール表現を導出する。
• 被覆数の議論と経験過程論を用いてエントロピーを制御し、分位数過程の漸近的タイトネスを証明する。
• 関数的デルタ法を、分位数過程から分布関数および分位数への写像に適用し、導出された統計量の弱収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一般化されたシリーズ近似フレームワークにおいて、分位数回帰過程（QRP）が弱収束する条件は何か？
• RQ2 特に同時収束および独立性の観点から、部分線形モデルにおけるパラメトリック成分と非パラメトリック成分の漸近的挙動はいかなるものか？
• RQ3 シリーズベースの分位数回帰推定量に対して、指数的尾部バウンドを伴う鋭いバーダール表現を導出できるか？
• RQ4 弱収束の結果は、非交差分位数曲線の構築および条件付き分布関数の推定にどのような意味を持つのか？
• RQ5 バーダール表現における剰余項はどのように振る舞い、その尾部特性は何か？

主な発見

• QRPは、次元が増加するモデルや非パラメトリック成分を含む一般シリーズ枠組みにおいて、ガウス過程に弱収束する。
• 部分線形モデルにおいて、パラメトリック推定量と非パラメトリック推定量は漸近的に独立である。これは、異なる収束速度を持つ同時弱収束から導かれる結果である。
• 剰余項が指数的尾部バウンドを満たす基本的バーダール表現が確立され、具体的にはある c, C > 0 に対して P(|Rn| > x) ≤ C exp(−c x²) が成り立つ。
• シリーズ推定量のバイアスは、部分線形モデルでは ecn = O(m−⌊η⌋/k′) として有界であり、一変量スプラインモデルでは ecn = o(m−⌊η⌋) として有界であり、滑らかさ η と次元 k′ に依存する。
• QRPの弱収束のおかげで、分位数レベル間の確率的順序付けが保証されるため、非交差分位数曲線を構築できる。
• 関数的デルタ法をQRPに適用することで、条件付き分布関数を一貫して推定でき、その結果得られる過程の弱収束が成立する。