[論文レビュー] A note on the approximate admissibility of regularized estimators in the Gaussian sequence model

Xi Chen, Adityanand Guntuboyina+1 more|arXiv (Cornell University)|Mar 1, 2017

Statistical Methods and Inference参考文献 6被引用数 5

ひとこと要約

本稿は、ガウス過程モデルにおける制約付き最小二乗推定量の近似的な許容性に関するChatterjee (2014) の結果を、凸罰則付き推定量へと拡張し、すべてのこのような推定量が次元や制約集合に依存しない普遍定数を用いて近似的に許容可能であることを証明する。著者らは元の証明を簡略化し、近的許容性に内在する普遍定数の明示的評価を提供する。

ABSTRACT

We study the problem of estimating an unknown vector $θ$ from an observation $X$ drawn according to the normal distribution with mean $θ$ and identity covariance matrix under the knowledge that $θ$ belongs to a known closed convex set $Θ$. In this general setting, Chatterjee (2014) proved that the natural constrained least squares estimator is "approximately admissible" for every $Θ$. We extend this result by proving that the same property holds for all convex penalized estimators as well. Moreover, we simplify and shorten the original proof considerably. We also provide explicit upper and lower bounds for the universal constant underlying the notion of approximate admissibility.

研究の動機と目的

• ガウス過程モデルにおける制約付き最小二乗推定量の近的許容性結果を、凸罰則付き推定量へと拡張すること。
• 制約付き最小二乗推定量の近的許容性に関する元の証明を著しく簡略化し、直感的に行うこと。
• C-許容性の概念に内在する普遍定数 C に対する明示的な上界と下界を提供すること。
• 実際によく用いられる罰則付き推定量が、制約付き最小二乗推定量と同様のロバスト最適性特性を有することを確立すること。

提案手法

• 閉凸集合 Θ 上で二乗誤差と凸罰則関数の和を最小化する推定量として罰則付き推定量を定義する。
• リプシッツ関数のガウス確率変数に対する集中不等式を用いて、推定誤差の裾確率を評価する。
• 期待二乗誤差に関連する関数 Aθ(t) を導入し、その凹性を活用して逸脱確率の評価を得る。
• 測度変換の議論を適用し、E[Aθ(t)] = Gθ(t) であることを利用して期待値と普遍定数 C を関連付ける。
• リプシッツ関数のサブガウス集中性を用いて尾確率の評価を得る。これにより、逸脱確率は指数関数的に減少する。
• 尾確率の積分を用いて超過リスク (L − tθ)+ のモーメント評価を導出し、tθ に関して一様な制御を得る。

実験結果

リサーチクエスチョン

• RQ1 制約付き最小二乗推定量の近的許容性特性は、ガウス過程モデルにおける凸罰則付き推定量へと拡張可能か？
• RQ2 制約付き最小二乗推定量の近的許容性証明は著しく簡略化され、直感的に行えるか？
• RQ3 すべての次元と凸制約集合に対して、C-許容性定義における普遍定数 C の明示的な上界と下界は何か？
• RQ4 真のパラメータ θ に関して一様となる、罰則付き推定量の推定誤差のモーメント評価を導出可能か？
• RQ5 罰則関数 f の構造は、得られる推定量の許容性特性にどのように影響するか？

主な発見

• 形式 argminα∈Θ(1/2‖X−α‖² + f(α)) に従うすべての凸罰則付き推定量は、次元 n や Θ に依存しない普遍定数 C を用いて近似的に許容可能である。
• Chatterjee (2014) より著しく簡略化され、直感的になった証明により、技術的複雑性が低下した。
• 近的許容性に内在する普遍定数 C に対する明示的な上界と下界が導出され、元の存在的結果を改善した。
• 測度集中を用いて推定誤差の尾確率評価が確立され、P(‖θ̂ − θ‖₂ ≥ tθ + δ) ≤ 2exp(−δ⁴/(32(tθ + δ)²)) が成り立つ。
• 超過リスク (‖θ̂ − θ‖₂ − tθ)+ のモーメント評価が導出され、E[(‖θ̂ − θ‖₂ − tθ)+²] ≤ 84 および E[(‖θ̂ − θ‖₂ − tθ)+] ≤ √84 が、すべての θ に対して一様に成り立つ。
• 結果は、LASSO型推定量や形状制約付き推定量を含む罰則付き推定量が、すべての凸制約集合において近的許容性の意味でロバストに最適であることを確認する。