[論文レビュー] Minimax estimation of linear and quadratic functionals on sparsity classes

Olivier Collier, Laëtitia Comminges+1 more|arXiv (Cornell University)|Feb 2, 2015

Statistical Methods and Inference参考文献 46被引用数 65

ひとこと要約

本稿は、ガウス列モデルにおけるスパースなベクトルの線形、二次的、および ℓ₂-ノルム関数型の推定について、非漸近的ミニマックスレートを確立する。$B_0(s)$ および $\beta_q(r)$ のスパースネスクラスに対して最適な推定量を導出し、スパース、密度、退化の三つの異なる収束領域を特定する。対数項のスケーリングは $\log(d/s^2)$ であり、$\log(d/s)$ ではない。$s$ や $\sigma$ の知識がなくてもほぼ最適なレートを達成する完全適応型推定量を構築する。これらの結果は、スパース代替仮説に対する検定に関するインガスター＝ドノホ＝ジン理論の非漸近的修正を提供する。

ABSTRACT

For the Gaussian sequence model, we obtain non-asymptotic minimax rates of estimation of the linear, quadratic and the L2-norm functionals on classes of sparse vectors and construct optimal estimators that attain these rates. The main object of interest is the class s-sparse vectors for which we also provide completely adaptive estimators (independent of s and of the noise variance) having only logarithmically slower rates than the minimax ones. Furthermore, we obtain the minimax rates on the Lq-balls where 0 < q < 2. This analysis shows that there are, in general, three zones in the rates of convergence that we call the sparse zone, the dense zone and the degenerate zone, while a fourth zone appears for estimation of the quadratic functional. We show that, as opposed to estimation of the vector, the correct logarithmic terms in the optimal rates for the sparse zone scale as log(d/s^2) and not as log(d/s). For the sparse class, the rates of estimation of the linear functional and of the L2-norm have a simple elbow at s = sqrt(d) (boundary between the sparse and the dense zones) and exhibit similar performances, whereas the estimation of the quadratic functional reveals more complex effects and is not possible only on the basis of sparsity described by the sparsity condition on the vector. Finally, we apply our results on estimation of the L2-norm to the problem of testing against sparse alternatives. In particular, we obtain a non-asymptotic analog of the Ingster-Donoho-Jin theory revealing some effects that were not captured by the previous asymptotic analysis.

研究の動機と目的

• ガウス列モデルにおける高次元スパースなベクトルの線形、二次的、および ℓ₂-ノルム関数型の推定について、非漸近的ミニマックスレートを確立すること。
• スパースネスレベル $s$ やノイズ分散 $\sigma$ の事前知識が不要な最適かつ完全適応型推定量を構築すること。
• スパースネスの異なるレームに応じた推定レートのフェーズ遷移を特定し、スパース、密度、退化の三つの明確に区別された収束領域を同定すること。
• 滑らかさクラスにとどまらず、非凸なスパースネスクラス、特に $B_0(s)$ および $0 < q \leq 2$ の $\ell_q$-球に対して、関数型推定の理論的理解を拡張すること。
• スパース代替仮説に対するミニマックス検定に応用し、漸近的分析が捉え損ねた有限標本効果を捉える非漸近的アナログを提供すること。

提案手法

• ガウス列モデル $y_j = \theta_j + \sigma \xi_j$ を分析し、$\theta$ が $s$-スパースまたは $\ell_q$-有界クラスに制約されることを仮定する。
• 非漸近的集中性および尾部不等式を用いて、$L(\theta) = \sum \theta_i$、$Q(\theta) = \sum \theta_i^2$、および $\|\theta\|_2 = \sqrt{Q(\theta)}$ の推定量のミニマックスリスク境界を導出する。
• 未知の $s$ および $\sigma$ に適応するしきい値処理に基づく推定量を用い、データ駆動型選択ルールによる調整を実施する。
• 推定量のリスクを制限するために、対称化およびガウス集中技術を用いる。特に $\ell_2$-ノルムおよび二次的関数型に対して有効である。
• $s$、$d$、$\sigma$ の間の関係をリスク式に分析することで、スパース、密度、退化の三つの明確に区別された収束領域を特定する。
• スパース領域における正しい対数項のスケーリングが $\log(d/s^2)$ であり、$\log(d/s)$ ではないことを特定し、先行研究における一般的な誤解を是正する。

実験結果

リサーチクエスチョン

• RQ1 ガウス列モデルにおける $s$-スパースなベクトルの線形、二次的、および ℓ₂-ノルム関数型の非漸近的ミニマックスレートは何か？
• RQ2 これらの関数型のミニマックスレートは、スパースネスレベル $s$、次元 $d$、ノイズ分散 $\sigma$ にどのように依存するか？
• RQ3 スパース領域における最適レートの対数項の正しいスケーリングは何か？また、なぜ $\log(d/s)$ とは異なるのか？
• RQ4 $s$ や $\sigma$ の知識がなくてもほぼ最適なレートを達成する完全適応型推定量を構築できるか？
• RQ5 スパースネス制約の下で、二次的関数型の推定レートは線形関数型および ℓ₂-ノルムとどのように異なっているか、特にその違いは何か？

主な発見

• 線形関数型および $B_0(s)$ 上の ℓ₂-ノルムのミニマックスレートは、$s = \sqrt{d}$ で鋭いへこみ（エルボー）を示し、スパース領域と密度領域を分かつ。
• スパース領域（$s \leq \sqrt{d}$）では、線形関数型および ℓ₂-ノルム関数型の最適レートは $\sigma^2 \log(d/s^2)/d$ に比例し、対数項は $d/s^2$ に依存する。
• 二次的関数型 $Q(\theta)$ のミニマックスレートはより複雑であり、$\theta \in B_0(s)$ というスパースネス制約だけでは特徴づけられない。追加の構造的条件が必要である。
• $B_0(s)$ に対して、$s$ や $\sigma$ の知識がなくてもミニマックスレートの対数因子内に収まる完全適応型推定量が存在する。レート劣化は $\log \log d$ に抑えられる。
• 解析により、二次的関数型には四つの明確な領域（スパース、密度、退化、および別の領域）が存在することが判明した。一方、線形および ℓ₂-ノルム関数型は三つの領域のみを示す。
• これらの結果は、スパース代替仮説に対する検定に関するインガスター＝ドノホ＝ジン理論の非漸近的修正を提供し、漸近的分析では捉え損ねた有限標本効果を捉えている。