[論文レビュー] Asymptotic Equivalence for Nonparametric Regression

Ion Grama, Michael Nussbaum|arXiv (Cornell University)|Dec 19, 2024

Statistical Methods and Inference参考文献 15被引用数 38

ひとこと要約

本論文は、正規性の仮定が成り立つ限り、非ガウスノイズを含む非パラメトリック回帰モデルが、分散安定化変換 Gamma("") 関数を介してガウスの非パラメトリック回帰モデルと漸近的に同値であることを示している。Fisher情報に関連する。

ABSTRACT

We consider a nonparametric model $\mathcal{E}^{n},$ generated by independent observations $X_{i},$ $i=1,...,n,$ with densities $p(x,θ_{i}),$ $i=1,...,n,$ the parameters of which $θ_{i}=f(i/n)\in Θ$ are driven by the values of an unknown function $f:[0,1] ightarrow Θ$ in a smoothness class. The main result of the paper is that, under regularity assumptions, this model can be approximated, in the sense of the Le Cam deficiency pseudodistance, by a nonparametric Gaussian shift model $Y_{i}=Γ(f(i/n))+\varepsilon _{i},$ where $\varepsilon_{1},...,\varepsilon _{n}$ are i.i.d. standard normal r.v.'s, the function $Γ(θ):Θ ightarrow \mathrm{R}$ satisfies $Γ^{\prime}(θ)=\sqrt{I(θ)}$ and $I(θ)$ is the Fisher information corresponding to the density $p(x,θ).$

研究の動機と目的

• 非ガウスノイズを含む非パラメトリック回帰モデルとガウスシフトモデルとの間の漸近的同値性の研究動機を提示する。
• パラメトリック族の一般的な正則性フレームワークを導入し、漸近的同値性の十分条件を導出する。
• 局所的なガウス近似を全非パラメトリックモデルへ拡張する局所-グローバルグローバリゼーション戦略を示す。
• 分散安定化変換 “ および関数 “ をパラメトリック族の Fisher 情報に関連づける。
• 理論の適用範囲を具体例で示し、位置モデルや指数族モデルを含む。

提案手法

• Hölder 球の中の滑らかな関数 f によって駆動される非パラメトリックモデルとパラメトリック密度 p(x,\u001b) を定式化する。
• 局所ガウス近似を確立する: Y_i^n = h(i/n) + I(f(i/n))^{-1/2} \u001b_i with i.i.d. normal \u001b_i。
• Gamma'()=sqrt(I()) を満たす Y_i = Gamma(f(i/n)) + \u001b_i を用いたガウスシフトモデルへのグローバル漸近同値を証明する。
• ブロックごとの近似と尤度過程のハンガリー構成を組み合わせた局所→グローバルのグローバリゼーション手法を用いる。
• 非パラメトリックとガウス実験間のヘリンガー距離制御を与える一般的な局所非パラメトリック理論（LASE）を構築する。
• 正則性仮定（R1-R3）と成長条件（G1-G2）を適用して漸近的同値性を保証する。）

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック回帰モデルが非ガウスノイズを含む場合、サンプルサイズが大きくなるにつれてガウスシフトモデルに近似できるか？
• RQ2 密度 p(x,\u001b) および Fisher 情報に対するどの正則性条件が漸近的同値性を保証するか？
• RQ3 分散安定化変換 Gamma がこの同値性におけて Fisher 情報とどう関係するか？
• RQ4 局所的なガウス近似を時空間のグローバル化を通じて全体の同値性へ拡張できるか？
• RQ5 理論を具体的な例（位置モデル、指数族モデル）で示すことは可能か？

主な発見

• beta > 1/2 の下で、p(x,f(t)) の密度を持つ非パラメトリックモデルは、Y_i = Gamma(f(i/n)) + epsilon_i を持つガウスシフトモデルと漸近的に同値である。
• Gamma'() = sqrt(I()) ただし I() は p(x,) の Fisher 情報である。
• 局所ガウス近似は Hölder クラス Sigma^beta の f に一様に成り立ち、全非パラメトリッククラスへグローバライズ可能である。
• 位置モデルでは Gamma( heta) = \u001b となり、Fisher 情報でスケールされたノイズを伴う単純なガウス回帰を回復する。
• 指数族と Bernoulli、Gaussian スケール、Poisson の例は、明示的な Gamma 変換を通じて漸近的同値性の幅を示している。
• 分散安定化変換が、等価なガウスモデルを確立する過程で自然に現れる理由を理論は説明する。