[論文レビュー] Convex Regression in Multidimensions: Suboptimality of Least Squares Estimators

Gil Kur, Fuchang Gao+2 more|arXiv (Cornell University)|Jun 3, 2020

Statistical Methods and Inference参考文献 57被引用数 10

ひとこと要約

本稿では、次元 $ d \geq 5 $ の多次元凸回帰における最小二乘推定量（LSE）が、リスクスケーリング $ n^{-2/d} $ でサブオプティマルであることが確立されている一方で、ミニマックスリスクは $ n^{-4/(d+4)} $ である。著者らは、多面体領域上での完全凸LSEの最初の最悪ケースおよび適応的収束速度を導出し、凸関数のための新しいメトリックエントロピー評価を証明した。これにより、チューニングフリーかつ一貫性を持つにもかかわらず、高次元ではLSEが最適ミニマックスレートに達しないことが示された。

ABSTRACT

Under the usual nonparametric regression model with Gaussian errors, Least Squares Estimators (LSEs) over natural subclasses of convex functions are shown to be suboptimal for estimating a $d$-dimensional convex function in squared error loss when the dimension $d$ is 5 or larger. The specific function classes considered include: (i) bounded convex functions supported on a polytope (in random design), (ii) Lipschitz convex functions supported on any convex domain (in random design), (iii) convex functions supported on a polytope (in fixed design). For each of these classes, the risk of the LSE is proved to be of the order $n^{-2/d}$ (up to logarithmic factors) while the minimax risk is $n^{-4/(d+4)}$, when $d \ge 5$. In addition, the first rate of convergence results (worst case and adaptive) for the unrestricted convex LSE are established in fixed-design for polytopal domains for all $d \geq 1$. Some new metric entropy results for convex functions are also proved which are of independent interest.

研究の動機と目的

• ガウス誤差を伴う多次元非パラメトリック回帰における凸最小二乗推定量（LSE）の理論的最適性を調査すること。
• 次元 $ d \geq 5 $ においてLSEが凸回帰のミニマックス収束速度を達成するかどうかを特定すること。
• すべての $ d \geq 1 $ に対して、多面体領域上での完全凸LSEの最初の最悪ケースおよび適応的収束速度を確立すること。
• Empirical process theoryにおいて独立に興味を持つ、凸関数クラスのための新しいメトリックエントロピー評価を導出すること。

提案手法

• 著者らは、三つの設定において凸LSEのリスクを分析した：(i) 固定デザイン下での多面体上での凸関数、(ii) ランダムデザイン下での多面体上での有界凸関数、(iii) ランダムデザイン下での任意の凸領域上での凸リプシッツ関数。
• Dudleyのエントロピー積分およびSudakovの最小化を含むメトリックエントロピー技術を用いて、凸関数クラスのエントロピーの下界を導出。
• 鍵となる構成は、$ \Omega \subseteq \mathbb{R}^d $ 内の点のグリッドに基づく、区分的アフィン凸関数の族で、真の関数 $ f_0 $ からの $ L^2 $-距離を制御したものである。
• サブオプティマル性の証明には、互いに下限付きの $ \ell_{{\mathbb{P}}_n} $-距離を有する有限関数集合 $ \{f_1, \dots, f_N\} $ を用いたテスト・アプローチが用いられた。
• Hoeffdingの不等式を用いて、経験的 $ \ell_2 $-損失が真の $ \ell_2 $-損失からどれほど逸脱するかを制御し、LSEのリスクの下界を導くためのテストフレームワークを構築した。
• 著者らは、$ d $ 次元多面体上での $ L $-リプシッツ凸関数クラスのための新しいメトリックエントロピー評価を導出し、エントロピー複雑度が $ \epsilon^{-d/2} $ のオーダーであることを示した。

実験結果

リサーチクエスチョン

• RQ1 次元 $ d \geq 5 $ における多次元凸回帰において、凸最小二乗推定量（LSE）はミニマックス最適か？
• RQ2 すべての $ d \geq 1 $ に対して、多面体領域上での完全凸LSEの収束速度は何か？
• RQ3 高次元における凸回帰のミニマックスリスクに関して、LSEのリスクを下界で抑えられるか？
• RQ4 $ d $ 次元凸領域上での $ L $-リプシッツ凸関数クラスのメトリックエントロピーは何か？
• RQ5 LSEはチューニングフリーかつ一貫性を持つにもかかわらず、ミニマックスレートに到達しないのか？

主な発見

• 次元 $ d \geq 5 $ において、凸LSEのリスクは $ \Omega(n^{-2/d}) $ である一方で、ミニマックスリスクは $ O(n^{-4/(d+4)}) $ であるため、二乗誤差損失においてLSEがサブオプティマルであることが証明された。
• 多面体領域上での凸LSEの最悪ケース収束速度は、すべての $ d \geq 1 $ に対して対数要因を除き $ n^{-2/d} $ である。
• 適応的収束速度についても、最悪ケース速度と一致する $ n^{-2/d} $ が示された。
• 著者らは、$ d $ 次元多面体上での $ L $-リプシッツ凸関数クラスのための新しいメトリックエントロピー評価を証明し、エントロピー複雑度が $ \epsilon^{-d/2} $ であることを示した。これは対数要因を除いてタイトである。
• LSEがサブオプティマルであることは、三つの設定すべてで確認された：(i) 固定デザイン下での多面体上での凸関数、(ii) ランダムデザイン下での多面体上での有界凸関数、(iii) ランダムデザイン下での任意の凸領域上での凸リプシッツ関数。
• 証明技法は、$ N \sim \epsilon^{-d/2} $ 個の関数からなる有限集合を構築し、それらの間で $ \ell_2 $-距離が $ \geq \epsilon $ であり、一様近似誤差が $ \leq 4\epsilon $ であるようにすることに依拠しており、これによりテストアプローチによる下界が可能になった。