[論文レビュー] Adaptive Minimax Estimation over Sparse $\ell_q$-Hulls

Zhan Wang, Sandra Paterlini+2 more|arXiv (Cornell University)|Aug 9, 2011

Statistical Methods and Inference参考文献 70被引用数 8

ひとこと要約

本稿では、$0 \leq q \leq 1$ の範囲で $\ell_q$-ノルム制約付き係数空間上での線形結合のための、適応的ミニマックス推定戦略を提案する。モデル混合とモデル選択を用いて、すべての $q$ と $t_n$ に対して同時に最適なレートを達成する。主な結果は、ミニマックスリスクが $q$、$t_n$、$M_n$、$n$ に依存する有効モデルサイズ $m_*$ によって支配されることであり、両手法とも最適なレートを達成するが、それぞれ異なる利点を持つ。モデル選択は指数的偏差バウンドを保証するが、モデル混合は先導定数が1のオラクル不等式を達成する。

ABSTRACT

Given a dictionary of $M_n$ initial estimates of the unknown true regression function, we aim to construct linearly aggregated estimators that target the best performance among all the linear combinations under a sparse $q$-norm ($0 \leq q \leq 1$) constraint on the linear coefficients. Besides identifying the optimal rates of aggregation for these $\ell_q$-aggregation problems, our multi-directional (or universal) aggregation strategies by model mixing or model selection achieve the optimal rates simultaneously over the full range of $0\leq q \leq 1$ for general $M_n$ and upper bound $t_n$ of the $q$-norm. Both random and fixed designs, with known or unknown error variance, are handled, and the $\ell_q$-aggregations examined in this work cover major types of aggregation problems previously studied in the literature. Consequences on minimax-rate adaptive regression under $\ell_q$-constrained true coefficients ($0 \leq q \leq 1$) are also provided. Our results show that the minimax rate of $\ell_q$-aggregation ($0 \leq q \leq 1$) is basically determined by an effective model size, which is a sparsity index that depends on $q$, $t_n$, $M_n$, and the sample size $n$ in an easily interpretable way based on a classical model selection theory that deals with a large number of models. In addition, in the fixed design case, the model selection approach is seen to yield optimal rates of convergence not only in expectation but also with exponential decay of deviation probability. In contrast, the model mixing approach can have leading constant one in front of the target risk in the oracle inequality while not offering optimality in deviation probability.

研究の動機と目的

• 線形結合の $\ell_q$-ノルム制約（$0 \leq q \leq 1$）の下で、$M_n$ 個の初期推定値の線形結合に対する最適ミニマックスレートを達成する統合戦略の開発。
• 確率的および固定設計の両方を扱い、誤差分散が既知または未知の場合にも対応できるように、既存の統合フレームワークを統一・拡張すること。
• 最適な $\ell_q$-統合レートが、$q$、$t_n$、$M_n$、$n$ を組み合わせたスパarsityインデックスである有効モデルサイズ $m_*$ によって決定されることを確立すること。
• モデル混合および選択によるマルチディレクショナル（ユニバーサル）統合戦略が、すべての $q \in [0,1]$ および $t_n > 0$ に対して同時に最適なレートを達成できることを示すこと。
• $\ell_q$-制約付き真の係数の下でのミニマックスレート適応的回帰結果を導出すること。

提案手法

• モデル選択およびモデル混合を用いて、$\ell_q$-制約付き係数空間上での線形統合のための一般化されたリスクバウンドフレームワークを提案する。
• 近似誤差とモデル複雑度に基づく解消可能性インデックスを導入し、$M_n$ 個の初期推定値の部分集合における性能を評価する。
• ミニマックスリスク解析を用いて、$q$、$t_n$、$M_n$、および標本サイズ $n$ に依存する有効モデルサイズ $m_*$ を同定し、これが最適レートを決定することを特定する。
• モデル選択に対して、指数的偏差確率を保証するオラクル不等式を適用し、高確率的最適性を確保する。
• すべての $q \in [0,1]$ にわたる適応性を達成するため、部分集合モデルを組み合わせたユニバーサル統合戦略を採用する。
• リスクバウンドに $\|\bar{f}_{J_m} - f_0^n\|_n^2$、$\sigma^2 r_{J_m}/n$、$\sigma^2 \log \binom{M_n}{m}/n$ といった項を含め、$\sigma^2$ および $\sigma^2 r_{M_n}/n$ で打ち切りを行う。

実験結果

リサーチクエスチョン

• RQ1 一般の $M_n$ および $t_n$ に対して、$\ell_q$-ノルム制約下での線形統合のミニマックス推定の最適レートは何か？
• RQ2 1つの統合戦略が、すべての $q \in [0,1]$ およびすべての $t_n > 0$ に対して同時に最適なレートを達成できるか？
• RQ3 有効モデルサイズ $m_*$（$q$、$t_n$、$M_n$、$n$ によって定義）が、$\ell_q$-統合におけるミニマックスリスクをどのように支配するか？
• RQ4 モデル選択は期待値の意味で最適なレートを達成するか、かつ指数的偏差確率のもとで最適性を保証するか？一方、モデル混合は先導定数が1のオラクル不等式を達成するか？
• RQ5 これらの結果は、$\ell_q$-制約付き真の係数の下でのミニマックスレート適応的回帰にどのような意味を持つのか？

主な発見

• 有効モデルサイズ $m_*$ が、$q$、$t_n$、$M_n$、$n$ を透明かつ解釈可能な方法で組み合わせることで、$\ell_q$-統合のミニマックスレートが決定されること。
• モデル選択は期待値での最適性に加え、偏差確率の指数的減衰を保証するため、高確率的設定でも頑健である。
• モデル混合は、ターゲットリスクの前につく先導定数が1のオラクル不等式を達成するため、有限標本における性能保証がきわめてタイトである。
• 有効モデルサイズ $m_* = M_n \wedge n$ の場合、完全モデル $J_{M_n}$ は $\sigma^2 r_{M_n}/n$ のオーダーの上界を与えるが、これは最適である。
• $1 < m_* < M_n \wedge n$ の場合、リスクバウンド評価において $J_{m_*}$ および $J_{M_n}$ を選択することで最適レートが達成される。
• $m_* = 1$ の場合、$J_0$ および $J_{M_n}$ のモデルが望ましい上界を与えるため、最もスパースな場合でも最適性が確認される。