[論文レビュー] Minimax Optimal Rates of Estimation in High Dimensional Additive Models: Universal Phase Transition

Ming Yuan, Ding‐Xuan Zhou|arXiv (Cornell University)|Mar 10, 2015

Statistical Methods and Inference参考文献 30被引用数 6

ひとこと要約

本稿は、近似的なスパarsityのもとでの高次元加法モデルにおけるミニマックス最適推定レートを確立し、普遍的な相転移を明らかにした：スパースな状態（高次元性または滑らかさのある成分関数）では、レートは線形回帰と一致する。滑らかさのある状態では、レートは単変量非パラメトリック推定と一致し、次元の curse を回避する。結果は再生核ヒルベルト空間（RKHS）とソボレフ滑らかさの仮定に基づき、次元、標本サイズ、滑らかさパラメータに依存する明示的な収束レートが得られる。

ABSTRACT

We establish minimax optimal rates of convergence for estimation in a high dimensional additive model assuming that it is approximately sparse. Our results reveal an interesting phase transition behavior universal to this class of high dimensional problems. In the {\it sparse regime} when the components are sufficiently smooth or the dimensionality is sufficiently large, the optimal rates are identical to those for high dimensional linear regression, and therefore there is no additional cost to entertain a nonparametric model. Otherwise, in the so-called {\it smooth regime}, the rates coincide with the optimal rates for estimating a univariate function, and therefore they are immune to the "curse of dimensionality".

研究の動機と目的

• 近似的なスパarsityのもとでの高次元加法モデルにおける推定のミニマックス最適レートを確立すること。
• 次元性、成分関数の滑らかさ、推定精度の間の相互作用を調査すること。
• スパarsityと滑らかさに依存する収束レートの普遍的な相転移を特定すること。
• 正則化と経験過程技法を用いて、加法モデルにおける推定の鋭い非漸近的リスクバインディングを導出すること。

提案手法

• 分析は、コン pact 領域上に共通の RKHS に属する成分関数を仮定する再生核ヒルベルト空間（RKHS）フレームワーク内で行われる。
• モデルは近似的にスパースであると仮定され、関数クラスは 0 < q < 1 に対する ℓq(ℋd) ノルムによって定義され、非ゼロ成分の数のスパarsity を捉える。
• ミニマックスリスクは、経験過程理論と集中不等式を用いて、推定誤差の期待二乗 L2 ノルムをバインドすることで分析される。
• 重要な技術的ステップとして、チェイニングによる経験過程の制御とメトリックエントロピーの利用が行われ、推定誤差に対する高確率バインディングが得られる。
• 正則化スキームはバイアスとバリアンスのバランスをとるものであり、正則化パラメータはデータに依存する基準によって調整される。
• 分析は二つの状態に分ける：一つはレートが線形回帰と一致する（スパース状態）、もう一つはレートが単変量非パラメトリック推定と一致する（滑らかさ状態）。

実験結果

リサーチクエスチョン

• RQ1 真の関数が近似的にスパースである場合、高次元加法モデルにおける推定のミニマックス最適レートは何か？
• RQ2 推定レートは入力空間の次元性と成分関数の滑らかさにどのように依存するか？
• RQ3 次元の curse が回避されるレートの状態を分ける普遍的な相転移があるか？
• RQ4 非パラメトリック成分関数があるにもかかわらず、加法モデルにおける推定レートが線形回帰と一致する条件は何か？
• RQ5 成分関数が滑らかである場合、収束レートはどのように振る舞い、この状態では次元の curse が回避されるか？

主な発見

• スパース状態（次元 d が大きく、または成分関数が十分に滑らかである）では、ミニマックス最適レートは高次元線形回帰のレートと一致し、非パラメトリックモデル化に追加コストがないことを示唆する。
• 滑らかさ状態（成分関数が滑らかで次元がそれほど大きくない）では、レートは最適な単変量非パラメトリックレートと一致し、次元の curse を効果的に回避する。
• ソボレフ滑らかさの次数 α に対して、滑らかさ状態におけるミニマックスレートは n^{-2α/(2α+1)} のオーダーとなり、これはソボレフ空間における単変量関数推定の最適レートである。
• スパース状態では、レートは (log d / n)^{1 - q/2} であり、これは ℓq スパarsity を持つ高次元線形回帰における最適レートに一致する。
• 二つの状態間の相転移は普遍的であり、滑らかさ α、スパarsity 水準 q、次元 d の相互作用に依存する。
• 結果は非漸近的であり、高確率で成立し、経験過程とチェイニングの議論により明示的な定数が導出される。