[論文レビュー] Estimating composite functions by model selection

Yannick Baraud, Lucien Birgé|arXiv (Cornell University)|Feb 14, 2011

Statistical Methods and Inference参考文献 29被引用数 11

ひとこと要約

本稿では、高次元 $ k $ における $[-1,1]^k$ 上の合成関数 $ s = g \circ u $ の推定のためのモデル選択フレームワークを提案する。適応的リスクバウンドを用いることで、次元の呪いを回避する。$ g $ と $ u $ に構造的仮定を課すことで、特に非等方的滑らかさクラスを用いることで、$ s $ の正則性に関する事前知識がなくても、最小最大最適レートを達成する。この手法により、加法的モデル、インデックスモデル、ニューラルネットワークへの応用が可能になる。

ABSTRACT

We consider the problem of estimating a function $s$ on $[-1,1]^{k}$ for large values of $k$ by looking for some best approximation by composite functions of the form $g\\circ u$. Our solution is based on model selection and leads to a very general approach to solve this problem with respect to many different types of functions $g,u$ and statistical frameworks. In particular, we handle the problems of approximating $s$ by additive functions, single and multiple index models, neural networks, mixtures of Gaussian densities (when $s$ is a density) among other examples. We also investigate the situation where $s=g\\circ u$ for functions $g$ and $u$ belonging to possibly anisotropic smoothness classes. In this case, our approach leads to a completely adaptive estimator with respect to the regularity of $s$.

研究の動機と目的

• 大規模な $ k $ における $[-1,1]^k$ 上の関数の非パラメトリック推定における次元の呪いを、目的関数の構造的仮定を活用することで解決すること。
• 合成関数 $ s = g \circ u $ の滑らかさに関する事前知識を必要としない、一般で適応的な推定フレームワークの構築。
• 加法的モデル、単一／複数インデックスモデル、ニューラルネットワークの既存手法を、統一的なモデル選択アプローチで統合・拡張すること。
• 非等方的ホルダーまたはソボレフ型滑らかさクラスに属する $ g $ と $ u $ に対して、$ s = g \circ u $ の最小最大最適リスクバウンドを導出すること。
• ハリントンリスクに基づく推定器の性能に関する理論的保証を提示し、滑らかさパラメータおよび次元 $ k $ に明示的な依存関係を示すこと。

提案手法

• 本手法は、候補モデルの集合 $ S $ におけるモデル選択を用いる。各 $ S $ は、$ g $ と $ u $ が特定の滑らかさクラスに制限された合成構造 $ g \circ u $ を表す。
• モデルの次元 $ \mathcal{D}(S) $ に比例する複雑さペナルティを含む、ペナルティに基づく推定器を導入し、経験的リスクに基づいて最良のモデル $ S $ を選択する。
• チェイニングの議論と、凹関数に関する重要な補題を用いてリスクバウンドを導出。$ \mathbb{E}_s[d^2(s,\widehat{s})] \leq C[\inf_{t \in S} d^2(s,t) + \tau \mathcal{D}(S)] $ を満たし、密度推定では $ \tau = 1/n $ となる。
• 非等方的滑らかさに対しては、$ g \in \mathcal{H}^\alpha $、$ u \in \mathcal{H}^{\beta_i} $ とし、合成関数 $ g \circ u $ が滑らかさ $ \theta = \phi(\alpha, \overline{\beta}) $ を引き継ぐ。ここで $ \phi $ は最悪ケースの正則性を捉える。
• 推定器が $ \tau^{2\alpha / (2\alpha + k)} $ のオーダーのリスクバウンドを達成することを証明。これは、$ D \propto \tau^{-k/(2\alpha + k)} $ を必要としないため、次元の呪いを回避する。
• 推定器が $ s $ の未知の滑らかさに対して完全に適応的であることを示し、$ g \in \mathcal{H}^\alpha $、$ u \in \mathcal{H}^{\beta_i} $ かつ $ \beta_i $ が座標ごとに異なる場合でも成立する。

実験結果

リサーチクエスチョン

• RQ1 固定された滑らかさクラスを仮定せずに、高次元領域 $[-1,1]^k$ 上の合成関数 $ s = g \circ u $ の推定において、モデル選択アプローチが適応的推定を達成できるか。
• RQ2 目的関数 $ s $ が単純な関数の合成であるという構造的仮定を活用することで、非パラメトリック推定における次元の呪いを回避する推定器をどのように構築できるか。
• RQ3 $ g $ と $ u $ が非等方的ホルダーまたはソボレフ型滑らかさクラスに属する場合、$ s = g \circ u $ の推定における最適収束速度は何か。
• RQ4 提案手法が、加法的モデル、インデックスモデル、ニューラルネットワークなどの既存手法を、統一的な理論的枠組みで統合・一般化できるか。
• RQ5 $ g $、$ u $ の滑らかさと、それらの合成による $ g \circ u $ の滑らかさとの正確な関係は何か。この関係はリスクバウンドにどのように影響するか。

主な発見

• 提案された推定器は、合成関数 $ s = g \circ u $ の未知の滑らかさ $ \alpha $ を事前知識なしに適応的に推定でき、リスクバウンドが $ \tau^{2\alpha / (2\alpha + k)} $ のオーダーに達する。
• 本手法は、モデルの有効次元が $ k $ に従って増加しないことから、次元の呪いを回避する。これは、古典的手法が $ D \propto \tau^{-k/(2\alpha + k)} $ を必要とするのとは対照的である。
• 非等方的滑らかさクラスに対しては、推定器は最小最大最適レート $ \tau^{2\alpha / (2\alpha + k)} $ を達成する。ここで指数は、成分のうち最悪の滑らかさに依存する。
• 推定器は完全に適応的である。$ s = g \circ u $ であっても、$ g \in \mathcal{H}^\alpha $、$ u \in \mathcal{H}^{\beta_i} $ かつ $ \beta_i $ が座標ごとに異なる場合でも、$ s $ の未知の正則性に自動的に適合する。
• 本手法は、加法的関数、単一および複数インデックスモデル、ガウス混合モデルなど、広範なモデルに適用可能であり、統一的な理論的保証が得られる。
• 本稿では、合成関数 $ g \circ u $ が滑らかさ $ \theta = \phi(\alpha, \overline{\beta}) $ を引き継ぐことを確立した。ここで $ \phi $ は正則性の劣加法的関数であり、合成による正則性の劣化を捉える。この関係を用いて最終的なリスクバウンドを導出する。