[論文レビュー] Optimal estimation of variance in nonparametric regression with random design

Yandi Shen, Chao Gao+2 more|arXiv (Cornell University)|Feb 27, 2019

Statistical Methods and Inference参考文献 47被引用数 5

ひとこと要約

本稿は、ランダムデザインにおける非パラメトリック回帰の分散関数 $V(\cdot)$ の推定におけるミニマックスレートを確立し、局所的およびグローバルな二乗リスクの下で $n^{-\frac{8\alpha\beta}{4\alpha\beta+2\alpha+\beta}} \vee n^{-\frac{2\beta}{2\beta+1}}$ であることを示している。著者らは、U統計量に基づく局所多項回归推定量を開発し、設計のランダムネスと滑らかさの相互作用を扱うために、新規の台形形状の平均関数とスパース多項分布の技法を用いた下界を導出している。

ABSTRACT

Consider the heteroscedastic nonparametric regression model with random design \begin{align*} Y_i = f(X_i) + V^{1/2}(X_i)\varepsilon_i, \quad i=1,2,\ldots,n, \end{align*} with $f(\cdot)$ and $V(\cdot)$ $α$- and $β$-Hölder smooth, respectively. We show that the minimax rate of estimating $V(\cdot)$ under both local and global squared risks is of the order \begin{align*} n^{-\frac{8αβ}{4αβ+ 2α+ β}} \vee n^{-\frac{2β}{2β+1}}, \end{align*} where $a\vee b := \max\{a,b\}$ for any two real numbers $a,b$. This result extends the fixed design rate $n^{-4α} \vee n^{-2β/(2β+1)}$ derived in Wang et al. [2008] in a non-trivial manner, as indicated by the appearances of both $α$ and $β$ in the first term. In the special case of constant variance, we show that the minimax rate is $n^{-8α/(4α+1)}\vee n^{-1}$ for variance estimation, which further implies the same rate for quadratic functional estimation and thus unifies the minimax rate under the nonparametric regression model with those under the density model and the white noise model. To achieve the minimax rate, we develop a U-statistic-based local polynomial estimator and a lower bound that is constructed over a specified distribution family of randomness designed for both $\varepsilon_i$ and $X_i$.

研究の動機と目的

• ランダムデザインを伴う異分散性非パラメトリック回帰における分散関数 $V(\cdot)$ の推定におけるミニマックス収束レートを特定すること。
• 固定デザインのレート $n^{-4\alpha} \vee n^{-2\beta/(2\beta+1)}$ を、設計点がi.i.d.であるランダムデザイン設定に拡張し、このレートが $\alpha$ と $\beta$ に依存することを示すこと。
• 定数分散ケースにおける密度モデルおよびホワイトノイズモデルのミニマックスレートと、分散推定のミニマックスレートを統一すること。
• 設計密度の滑らかさ仮定を必要としない、最適レートを達成するU統計量に基づく局所多項回归推定量を開発すること。
• 設計点のランダムネスを適切に扱うために、台形形状の平均関数とスパース多項分布に関する結果を用いた新規な下界構築を行うこと。

提案手法

• 応答変数の対ごとの差の滑らか化により、分散関数 $V(\cdot)$ を推定するU統計量に基づく局所多項回归推定量を提案する。
• Gin\'eら（2000）の四項 Bernstein 不等式を用いて、設計密度の滑らかさ仮定なしに推定量のリスクを解析する。
• レートに現れる $\alpha$ と $\beta$ の役割を分離するために、局所化された平均関数 $f(\cdot)$ を巧みに構築する。
• Kolchin ら（1978）のスパース多項分布に関する結果を用いて、i.i.d. 設計点の漸近的挙動をモデル化するため、平均関数の台形形状の構築を導入する。
• ミニマックスレートの非自明な項において $\alpha$ と $\beta$ の影響を分離するために、$f(\cdot)$ の構築に局所化技術を適用する。
• 下界を導出するための $\varepsilon_i$ と $X_i$ の分布族を導入し、ランダムデザイン下での分散推定の本質的難易度を捉える。

実験結果

リサーチクエスチョン

• RQ1 分散関数 $V(\cdot)$ の推定におけるミニマックスレートは、$f(\cdot)$ と $V(\cdot)$ がそれぞれ $\alpha$-および $\beta$-H\
• RQ2 ランダムデザイン設定におけるミニマックスレートは、固定デザイン設定とどのように異なるか。特に $\alpha$ と $\beta$ への依存性の観点から。
• RQ3 ランダムデザインモデルにおける分散推定のミニマックスレートは、密度モデルおよびホワイトノイズモデルのそれらと統一可能か。
• RQ4 設計点のランダムネスがミニマックスレートに与える役割は何か。また、下界構築において効果的にモデル化するにはどうすればよいか。
• RQ5 U統計量と局所多項回归スムージングをどのように組み合わせれば、設計密度の滑らかさ仮定なしに最適な分散推定が達成できるか。

主な発見

• 局所的およびグローバルな二乗リスクの下で、ランダムデザイン設定における $V(\cdot)$ の推定におけるミニマックスレートは $n^{-\frac{8\alpha\beta}{4\alpha\beta+2\alpha+\beta}} \vee n^{-\frac{2\beta}{2\beta+1}}$ である。
• このレートには、固定デザインとは異なり、$\alpha$ と $\beta$ の両方に依存する非自明な項 $n^{-\frac{8\alpha\beta}{4\alpha\beta+2\alpha+\beta}}$ が含まれる。
• $\alpha < \beta/(4\beta + 2)$ の場合、ランダムデザイン設定では固定デザイン設定よりも速いレートが達成され、設計のランダムネスに起因する利点が示される。
• 定数分散ケース（$V(\cdot) \equiv \sigma^2$）では、$\sigma^2$ の推定におけるミニマックスレートは $n^{-8\alpha/(4\alpha+1)} \vee n^{-1}$ であり、密度モデルおよびホワイトノイズモデルで知られているレートと一致する。
• U統計量に基づく局所多項回归推定量は、設計密度の滑らかさ仮定なしに最適レートを達成する。
• 下界構築は、新規の台形形状の平均関数とスパース多項分布に関する結果を用いており、i.i.d. 設計点の漸近的挙動をモデル化している。