[論文レビュー] Sharp oracle bounds for monotone and convex regression through aggregation

Pierre Bellec, Alexandre B. Tsybakov|arXiv (Cornell University)|Jun 29, 2015

Statistical Methods and Inference参考文献 15被引用数 11

ひとこと要約

本稿は、Q集合の集合とスパarsityパターン集合の集合を用いて、等方的および凸回帰に対する鋭いオラクル不等式を確立した。これは、すべての $\mu \in \mathbb{R}^n$ に対して、先頭定数が1に正確に一致するものであり、モデル不適合下でのミニマックスレジストのタイトな境界を可能にする。高い確率および期待値に基づく保証を提供し、制約付き最小二乗推定器の先行研究を上回る結果を得た。

ABSTRACT

We derive oracle inequalities for the problems of isotonic and convex regression using the combination of $Q$-aggregation procedure and sparsity pattern aggregation. This improves upon the previous results including the oracle inequalities for the constrained least squares estimator. One of the improvements is that our oracle inequalities are sharp, i.e., with leading constant 1. It allows us to obtain bounds for the minimax regret thus accounting for model misspecification, which was not possible based on the previous results. Another improvement is that we obtain oracle inequalities both with high probability and in expectation.

研究の動機と目的

• モデル不適合下での等方的および凸回帰に対する改善されたオラクル不等式の開発。
• 先頭定数1の鋭いオラクル不等式を達成し、タイトなミニマックスレジスト境界を可能にする。
• 高い確率および期待値に基づくオラクル不等式を同時に得ることで、先行研究の制限を克服する。
• 提案された推定器のレート最適性を対数要因を除いて示す。
• Q集合の集合が、Exponential Screeningのような他の集合方法ができない高確率境界を可能にすることを示す。

提案手法

• 本稿は、候補モデルの辞書からの推定器を組み合わせるためにQ集合の集合とスパarsityパターン集合の集合を用いる。
• 先頭定数が正確に1に一致する鋭いオラクル不等式を導出する。これは、以前の非鋭い結果を改善するものである。
• 単調（$\mathcal{S}^\uparrow$）および凸（$\mathcal{S}^\mathrm{C}$）列のクラスに適用され、すべての $\boldsymbol{\mu} \in \mathbb{R}^n$ に対して有効である。
• 集中不等式とVarshamov-Gilbertの補題を用いて、ミニマックスレジストのテストに使用することで、高い確率および期待値に基づくオラクル不等式を確立する。
• 推定器 $\boldsymbol{\hat{\mu}}^Q$ および $\boldsymbol{\hat{\mu}}^{Q-\text{conv}}$ の構築は $\sigma^2$ の知識に依存するが、実際にはロバスト推定により対処される。
• 理論的保証は、Tsybakov（2009）の定理2.7とKullback-Leibler距離の境界を用いて導出され、ミニマックス下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 任意のモデル不適合下で、等方的および凸回帰に対して先頭定数1の鋭いオラクル不等式を達成できるか？
• RQ2 高い確率および期待値に基づくオラクル不等式を、単調および凸回帰推定器に対して同時に得られるか？
• RQ3 等方的および凸回帰のミニマックスレジストは、提案された集合手法によって有界であり、かつ対数要因を除いてレート最適か？
• RQ4 Q集合の集合は、Exponential Screeningのような他の集合手法に比べ、高確率保証において優れているか？
• RQ5 提案された手法は、従来の制約付き最小二乗推定器が非鋭い定数のため失敗する状況においても、ミニマックスレジスト境界を可能にするか？

主な発見

• 提案されたQ集合の集合推定器は、期待値および高い確率の両方で、先頭定数1の鋭いオラクル不等式を達成する。
• オラクル不等式はすべての $\boldsymbol{\mu} \in \mathbb{R}^n$ に対して有効であり、モデル不適合下でのミニマックスレジストのタイトな境界を可能にする。
• ミニマックスレジストの境界は、対数要因を除いてレート最適であり、制約付き最小二乗推定器の先行研究を改善する。
• 本手法により、$\boldsymbol{\hat{\mu}}^Q$ および $\boldsymbol{\hat{\mu}}^{Q-\text{conv}}$ が最小二乗推定器と同じレートを達成するが、より鋭い定数を有することが示された。
• Q集合の集合の使用により、Exponential Screeningが期待値に基づく境界しか得られないのに対し、高確率境界が可能になる。
• 理論的結果は、$\sigma^2$ の不確実性に対してロバストであり、$\hat{\sigma}^2$ が高確率で $|\hat{\sigma}^2 / \sigma^2 - 1| \leq 1/8$ を満たす限り有効である。