[論文レビュー] Statistical inference in compound functional models

Arnak S. Dalalyan, Yuri I. Ingster+1 more|arXiv (Cornell University)|Aug 31, 2012

Statistical Methods and Inference参考文献 28被引用数 9

ひとこと要約

本稿では、スパース加法的回帰と高次元非パラメトリック回帰を統合する化合物関数モデルを導入し、構造（スパースパターン）、ミクロスパース（活性な共変数の数）、滑らかさの3つのパラメータに依存する非漸近的最小最大収束レートを確立している。最適レートが事前知識なしに適応的に達成可能であることを証明し、スパース制約下での高次元非線形推論の理論的基盤を提供する。

ABSTRACT

We consider a general nonparametric regression model called the compound model. It includes, as special cases, sparse additive regression and nonparametric (or linear) regression with many covariates but possibly a small number of relevant covariates. The compound model is characterized by three main parameters: the structure parameter describing the "macroscopic" form of the compound function, the "microscopic" sparsity parameter indicating the maximal number of relevant covariates in each component and the usual smoothness parameter corresponding to the complexity of the members of the compound. We find non-asymptotic minimax rate of convergence of estimators in such a model as a function of these three parameters. We also show that this rate can be attained in an adaptive way.

研究の動機と目的

• スパース加法モデルと高次元非パラメトリック回帰を、統一的な理論枠組みの下で統合すること。
• 化合物関数モデルにおける非漸近的設定下での最小最大収束レートを特徴づけること。
• 推定精度が構造、ミクロスパース、滑らかさの3つの主要パラメータにどのように依存するかを特定すること。
• 導出された最小最大レートが、パラメータの真の値を事前に知らない状態でも適応的に達成可能であることを確立すること。
• 有限のモデル集合のメトリックエントロピーの鋭い下界と上界を導出し、最小最大レートの導出を可能にする。

提案手法

• 未知関数が共変数の部分集合上の成分関数の和として表される化合物関数モデルを定式化し、二値インジケータ・ベクトルによるスパース性の制約を導入する。
• 非パラメトリック回帰の標準的同等モデルとしてガウス・ホワイトノイズ・モデルを用い、ヒルバート空間およびガウス過程理論を用いた解析を可能にする。
• 構造（マクロスケールの形）、ミクロスパース（各成分あたりの活性共変数の最大数）、滑らかさ（成分関数の正則性）の3つの主要パラメータを定義する。
• 被覆数と分離の議論に依存する、組合せ的議論とエントロピーの境界を用いて、モデルクラスのメトリックエントロピーの下界を導出する。
• インデックス集合の分割と代表的モデルの選択に基づく構成的議論を用いて、メトリックエントロピーの上界を確立する。
• これらのエントロピー境界を応用して、非漸近的最小最大収束レートを導出し、それが3つのパラメータの関数としてスケーリングされることを示す。

実験結果

リサーチクエスチョン

• RQ1 スパース性と滑らかさの制約下にある化合物関数モデルにおける非パラメトリック推定の最適収束レートは何か？
• RQ2 最小最大レートは、構造、ミクロスパース、滑らかさパラメータの相乗的相互作用にどのように依存するか？
• RQ3 最適レートは、モデルパラメータの真の値を事前に知らない状態でも適応的に達成可能か？
• RQ4 化合物モデルクラスのメトリックエントロピーは何か？また、次元とスパース性パラメータにどのようにスケーリングされるか？
• RQ5 このクラスにおけるモデルの識別可能性の鋭い閾値は何か？そして推定リスクとどのように関係するか？

主な発見

• 非漸近的最小最大収束レートが、構造、ミクロスパース、滑らかさパラメータの関数として導出され、推定の難易度の正確な特徴づけが得られた。
• 最適レートが適応的に達成可能であることが示され、推定器がパラメータの真の値を事前に知らない状態でも最適レートに到達可能であることを裏付けた。
• 最大のθ分離集合を用いた分離議論により、モデルクラスのメトリックエントロピーの下界が確立され、被覆数に対する対数的下界が得られた。
• インデックス集合の分割と代表的モデルの数え上げを含む構成的議論により、メトリックエントロピーの上界が導出され、被覆数に対するタイトな境界が得られた。
• エントロピー境界は、活性成分の数、成分の滑らかさ、共変数の次元に依存して最小最大レートがスケーリングされることを示唆している。
• 結果は、スパース加法モデルおよび高次元非パラメトリック回帰分野における先行研究を一般化・統合し、それらの理論的分析のための統一的フレームワークを提供した。