[論文レビュー] Minimax-optimal rates for sparse additive models over kernel classes via convex programming

Garvesh Raskutti, Martin J. Wainwright+1 more|arXiv (Cornell University)|Aug 21, 2010

Statistical Methods and Inference参考文献 30被引用数 17

ひとこと要約

本稿では、核に基づく正則化とℓ₁ペナルティを組み合わせた凸最適化手法を提案し、高次元設定下でのスパース加法モデルの推定を行う。L²(𝐏)およびL²(𝐏ₙ)ノルムにおいて、最小最大最適収束速度を確立し、多項式、スプライン、ソボレフ空間などの広範な1変量関数空間クラスにおいて、可能な限り最良の誤差率を達成することを証明する。

ABSTRACT

Sparse additive models are families of $d$-variate functions that have the additive decomposition $f^* = \sum_{j \in S} f^*_j$, where $S$ is an unknown subset of cardinality $s \ll d$. In this paper, we consider the case where each univariate component function $f^*_j$ lies in a reproducing kernel Hilbert space (RKHS), and analyze a method for estimating the unknown function $f^*$ based on kernels combined with $\ell_1$-type convex regularization. Working within a high-dimensional framework that allows both the dimension $d$ and sparsity $s$ to increase with $n$, we derive convergence rates (upper bounds) in the $L^2(\mathbb{P})$ and $L^2(\mathbb{P}_n)$ norms over the class $\MyBigClass$ of sparse additive models with each univariate function $f^*_j$ in the unit ball of a univariate RKHS with bounded kernel function. We complement our upper bounds by deriving minimax lower bounds on the $L^2(\mathbb{P})$ error, thereby showing the optimality of our method. Thus, we obtain optimal minimax rates for many interesting classes of sparse additive models, including polynomials, splines, and Sobolev classes. We also show that if, in contrast to our univariate conditions, the multivariate function class is assumed to be globally bounded, then much faster estimation rates are possible for any sparsity $s = Ω(\sqrt{n})$, showing that global boundedness is a significant restriction in the high-dimensional setting.

研究の動機と目的

• 高次元非パラメトリック回帰におけるスパース加法モデルの最小最大最適収束速度を確立すること。
• 最小二乗損失と核によって生成される関数空間上のℓ₁正則化を組み合わせた凸最適化手法を分析すること。
• 推計誤差の経験的および母集団L²ノルムにおけるタイトな上界を導出すること。
• 一致する最小最大下界を確立することで、提案手法の最適性を証明すること。
• 高次元的状況下での推定レートに与えるグローバル有界性仮定の影響を調査すること。

提案手法

• 本手法は、2つのℓ₁ペナルティ項を含む凸最適化フレームワークを用いる。1つはL²(𝐏ₙ)ノルムに、もう1つは1変量成分関数のRKHSノルムにそれぞれ対応する。
• 関数f* = ∑_{j∈S} f_j^* を、1変量RKHSの単位球内に属する関数のクラス上での正則化最小二乗問題を解くことで推定する。
• 経験プロセスを制御するためにガウスおよびラデマッハ複雑度を用い、対称化およびチェインジングの議論によりバウンドを導出する。
• 近似誤差を制御するために、核関数と1変量成分関数が有界であり、固有値の減少がμ_k ≃ k^{-2α}と仮定する。
• 関数ノルムの半径ごとにピーリング論法を適用し、推定誤差の高確率バウンドを導出する。
• 次元dとスパarsity sが標本サイズnとともに増加する高次元スケーリング下で理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 1変量関数が再生核ヒルベルト空間（RKHS）に属する場合、スパース加法モデルの最小最大最適収束速度は何か？
• RQ2 ℓ₁正則化を用いた凸最適化手法は、高次元設定下でこれらの最適レートを達成できるか？
• RQ3 多変量関数クラスがグローバルに有界であるという仮定は、1変量RKHS制約と比較して推定レートにどのように影響するか？
• RQ4 固有値の減少（μ_k ≃ k^{-2α}）は、推定量の収束速度にどのように寄与するか？
• RQ5 推定誤差の上界はタイトであり、最小最大下界と一致するか？

主な発見

• 提案手法は、1変量成分がRKHSに属するスパース加法モデルについて、L²(𝐏)およびL²(𝐏ₙ)ノルムの両方で最小最大最適収束速度を達成する。
• RKHSの固有値がμ_k ≃ k^{-2α}と減少する場合、推定誤差の上界はO(√(s log s / n)^{1/α})であり、最小最大下界と一致する。
• 多項式、スプライン、ソボレフクラスに対して、本手法は最適収束速度を達成し、滑らかさクラスへの適応性を確認する。
• 多変量関数クラスがグローバルに有界である場合、s = Ω(√n)のとき、O(1/√n)のより速いレートが可能である。これは、高次元においてグローバル有界性が強い制約であることを示唆する。
• 理論的分析により、提案推定量が最小最大の意味で最適であり、上界と下界が定数因子を除いて一致することを確立する。
• 本手法は多項式時間で計算可能であり、高次元問題において計算的に実行可能である。