[論文レビュー] Structural adaptation in the single-index model

Oleg Lepski, Nora Serdyukova|arXiv (Cornell University)|Nov 15, 2011

Statistical Methods and Inference被引用数 1

ひとこと要約

本稿は、未知のインデックス・ベクトルおよびリンク関数の滑らかさに同時に適応する、単一インデックス・モデルの新しい適応推定手順を提案する。局所的およびグローバルなオラクル不等式を確立し、ホルダー空間およびニコルスキー空間の範囲で最適なレートの適応性を証明した。これは、滑らかさが非一様な関数に対しても成立する。

ABSTRACT

In the framework of nonparametric multivariate function estimation we are interested in structural adaptation. We assume that the function to be estimated has the single-index structure where neither the link function nor the index vector is known. We suggest a novel procedure that adapts simultaneously to the unknown index and smoothness of the link function. For the proposed procedure, we prove a local oracle inequality (described by the pointwise seminorm), which is then used to obtain the upper bound on the maximal risk of the adaptive estimator under assumption that the link function belongs to a scale of Holder classes. The lower bound on the minimax risk shows that in the case of estimating at a given point the constructed estimator is optimally rate adaptive over the considered range of classes. For the same procedure we also establish a global oracle inequality (under the $ L_r $ norm, $r< \infty $) and examine its performance over the Nikol'skii classes. This study shows that the proposed method can be applied to estimating functions of inhomogeneous smoothness, that is whose smoothness may vary from point to point.

研究の動機と目的

• リンク関数とインデックス・ベクトルの両方が未知である非パラメトリックな多次元関数推定において、構造的適応性を扱うこと。
• インデックスおよびリンク関数の滑らかさに関する事前知識なしに、単一インデックス・モデルを適応的に推定する手順を開発すること。
• 滑らかさクラスの範囲で収束レートのミニマックス最適性を推定器が達成することを確立すること。
• 滑らかさが定義域全体で変化する関数、特に非一様な滑らかさを示す関数への単一インデックス・モデルの適用範囲を拡張すること。

提案手法

• 提案手法は、データ駆動的にインデックス・ベクトルおよびリンク関数の滑らかさを同時に適応的に選択する新しい推定手順を用いる。
• 点ごとのセミノルムを用いた局所的オラクル不等式を導出し、推定器の性能に対する理論的基盤を提供する。
• リンク関数がホルダー空間のスケールに属すると仮定し、最大リスクの上界を導出する。
• $ L_r $ノルム（$ r < ∞ $）の下でグローバルなオラクル不等式を確立し、点推定を超えた分析を拡張する。
• 滑らかさが点ごとに変化する関数に対しても、本手法が有効であることが示された。
• 非パラメトリック推定技術と適応的バンド幅選択戦略の組み合わせを用いて、理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 未知のインデックス・ベクトルおよびリンク関数の滑らかさを同時に適応的に推定できる単一インデックス・モデル推定器を構築できるか？
• RQ2 滑らかさが未知でインデックスが未知である状況下で、固定点におけるリンク関数推定の最適な収束レートは何か？
• RQ3 滑らかさが変化する関数クラス、特に非一様な滑らかさを示す関数クラスにおいて、推定器の性能はいかなるものか？
• RQ4 提案手法が、滑らかさクラスの範囲で収束レートのミニマックス最適性を達成できるか？
• RQ5 異なる滑らかさ仮定の下で、適応的推定器の局所的およびグローバルな性能の関係は何か？

主な発見

• 提案された推定器は、点推定において、考察されたホルダー空間の範囲で最適なレートの適応性を達成し、ミニマックスリスクの下界と一致する。
• 点ごとのセミノルムを用いた局所的オラクル不等式が確立され、特定の点における推定器性能の鋭い理論的保証が得られた。
• リンク関数がホルダー空間のスケールに属すると仮定した下で、最大リスクの上界が導出された。
• $ L_r $ノルム（$ r < ∞ $）の下でグローバルなオラクル不等式が証明され、推定器の広範な関数クラスへのロバストネスが示された。
• 滑らかさが定義域全体で変化する関数に対しても、本手法は有効であり、均一な滑らかさ仮定を超えて適用範囲を拡張した。
• ミニマックスリスクの下界は、点推定において推定器が収束レートの観点で最適であることを確認した。