[論文レビュー] Fast rates for empirical risk minimization over càdlàg functions with bounded sectional variation norm

Aurélien Bibaut, Mark J. van der Laan|arXiv (Cornell University)|Jul 22, 2019

Statistical Methods and Inference参考文献 6被引用数 20

ひとこと要約

本稿は、高次元設定下で有界な断面変動ノルムをもつ càdlàg 関数のクラスにおける経験的リスク最小化（ERM）の高速収束レートを確立する。著者らは、これらの関数の新規な表現を用い、ブレッティングエントロピーを制限することで、収束レートが $ O_P(n^{-1/3}(\text{log}\,n)^{2(d-1)/3}a_n) $ であることを導出する。ここで次元 $ d $ は対数因子にしか影響しないため、指数的誤差の下で高次元非パラメトリック推定に特に有効である。

ABSTRACT

Empirical risk minimization over classes functions that are bounded for some version of the variation norm has a long history, starting with Total Variation Denoising (Rudin et al., 1992), and has been considered by several recent articles, in particular Fang et al., 2019 and van der Laan, 2015. In this article, we consider empirical risk minimization over the class $\mathcal{F}_d$ of càdlàg functions over $[0,1]^d$ with bounded sectional variation norm (also called Hardy-Krause variation). We show how a certain representation of functions in $\mathcal{F}_d$ allows to bound the bracketing entropy of sieves of $\mathcal{F}_d$, and therefore derive rates of convergence in nonparametric function estimation. Specifically, for sieves whose growth is controlled by some rate $a_n$, we show that the empirical risk minimizer has rate of convergence $O_P(n^{-1/3} (\log n)^{2(d-1)/3} a_n)$. Remarkably, the dimension only affects the rate in $n$ through the logarithmic factor, making this method especially appropriate for high dimensional problems. In particular, we show that in the case of nonparametric regression over sieves of càdlàg functions with bounded sectional variation norm, this upper bound on the rate of convergence holds for least-squares estimators, under the random design, sub-exponential errors setting.

研究の動機と目的

• 高次元設定下で有界な断面変動ノルムをもつ càdlàg 関数のクラスにおける経験的リスク最小化（ERM）の高速収束レートを確立すること。
• 非漸近的リスクバウンドを可能にするために、この関数クラス内のスクリーブのブレッティングエントロピーを特徴付けること。
• 収束レートが次元によってのみ対数因子を通じて影響を受けることを示し、高次元へのスケーラビリティを実現すること。
• 一般設計および指数的誤差仮定の下で、ERMの適用範囲を非パラメトリック回帰およびロジスティック回帰へと拡張すること。

提案手法

• 有界な断面変動ノルムをもつ càdlàg 関数を有界変動の符号付き測度の和として表現することで、エントロピーの精密な制御が可能になる。
• 関数クラス $ \mathcal{F}_d $ 内のスクリーブのブレッティングエントロピーの境界を導出する。これは収束レートを導出する上で中心的な役割を果たす。
• エントロピー積分を制御するためのピーリング技法が適用され、最終的な収束レートが得られる。
• 重要なステップとして、パrameter空間の $ L^2 $-ノルムブレッティングを損失関数のベルンシュタインノルムと関連付けることで、集中不等式の適用が可能になる。
• ランダム設計および指数的誤差の下で最小二乗推定に適用し、ERM推定量が導出されたレートを達成することを示す。
• 理論的結果は、基底関数による LASSO 型問題への ERM 推定量の表現によって裏付けられ、計算上の実行可能性が保証される。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、有界な断面変動ノルムをもつ càdlàg 関数のクラスにおける経験的リスク最小化（ERM）に対して、高速収束レートを確立できるか？
• RQ2 このような非パラメトリック推定問題において、次元 $ d $ が収束レートにどのように影響するか？
• RQ3 導出されたレートは、一般の損失関数、特に単峰性リプシッツ損失関数に対しても達成可能か、また指数的誤差モデル下でも成立するか？
• RQ4 このような関数クラスにおける経験的リスク最小化子は計算的に実行可能か？また、LASSO 問題に再定式化可能か？
• RQ5 非パラメトリック回帰における最小二乗推定量について、指数的誤差のもとでレート $ n^{-1/3}( ext{log}\,n)^{2(d-1)/3}a_n $ が成立するか？

主な発見

• 有界な断面変動ノルムをもつ càdlàg 関数のスクリーブ上での経験的リスク最小化推定量は、収束レート $ O_P(n^{-1/3}( ext{log}\,n)^{2(d-1)/3}a_n) $ を達成する。ここで $ a_n $ はスクリーブの成長を制御する。
• 次元 $ d $ は収束レートに影響するが、対数因子にのみ関与するため、本手法は高次元問題に非常に適している。
• càdlàg 関数を符号付き測度の和として表現することで、関数クラスのブレッティングエントロピーが制限され、エントロピーに基づく収束解析が可能になる。
• ランダム設計および指数的誤差のもとで、非パラメトリック回帰における最小二乗推定に対して、このレートが成立することが示された。ガウス分布や格子設計を仮定しない。
• ERM 推定量は $ O((ne/d)^d) $ 個の基底関数をもつ LASSO 問題として表現可能であり、計算上の実行可能性が保証される。
• 結果は単峰性リプシッツ損失関数へと拡張可能であり、有界応答の非パラメトリック最小二乗推定やロジスティック回帰といった重要なケースをカバーする。