[論文レビュー] On Suboptimality of Least Squares with Application to Estimation of Convex Bodies

Gil Kur, Alexander Rakhlin+1 more|arXiv (Cornell University)|Jun 7, 2020

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、非ドンスカー型の設定における最小二乗推定（LSE）の標本量に関する下界を示す一般的手法を確立し、次元 $ d \geq 6 $ の場合に、ノイズのあるサポート関数測定値を用いたコンパクトな凸体の推定において、LSEがミニマックス意味で最適でないことを示している。LSEの収束速度は $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ であるのに対し、ミニマックス最適速度は $ \Theta_d(n^{-4/(d+3)}) $ であるため、この設定では下界が成立することが証明された。

ABSTRACT

We develop a technique for establishing lower bounds on the sample complexity of Least Squares (or, Empirical Risk Minimization) for large classes of functions. As an application, we settle an open problem regarding optimality of Least Squares in estimating a convex set from noisy support function measurements in dimension $d\\geq 6$. Specifically, we establish that Least Squares is mimimax sub-optimal, and achieves a rate of $\ ilde{\\Theta}_d(n^{-2/(d-1)})$ whereas the minimax rate is $\\Theta_d(n^{-4/(d+3)})$.

研究の動機と目的

• 非ドンスカー型の設定における最小二乗推定（LSE）の標本量に関する下界を示す一般的手法を開発すること。
• ノイズのあるサポート関数測定値からの凸体推定におけるLSEのミニマックス最適性に関する未解決問題を解明すること。
• 次元 $ d \geq 6 $ のコンパクトな凸体のサポート関数のクラスに対して、LSEが明示的に劣化していることを示すこと。
• 固定設計から確率的設計の設定へと分析を拡張し、LSEの性能を評価する統一的な枠組みを提供すること。

提案手法

• 凸的でドンスカー型でない関数クラスにおけるLSEリスクの一般的下界を、メトリックエントロピーとエントロピー数を用いて導出する。
• 実数空間 $ \mathbb{R}^d $ におけるコンパクトな凸体のサポート関数のクラスにその手法を適用し、そのエントロピーが $ \epsilon^{-p} $ に比例して増加することを示す（$ p > 2 $）。
• 径方向射影と球面の帽子を用いて、球面上のサポート関数のメトリックエントロピーを分析し、球面の面に一様測度を適用する。
• 分かちがけ線形近似を用いて球面の帽子上に $ \epsilon $-ネットを構築し、GaoとWellner（2017）の結果を応用してエントロピー数を評価する。
• 非ドンスカー型の設定において、次元 $ d \geq 6 $ の場合にLSEが $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ より速い収束速度を達成できないことを確立する。
• 集中不等式と球面の帽子内に存在する設計点の数に関する高確率的境界を用いて、頂点が大きな集合がLSEによって選択されにくいことを示す。

実験結果

リサーチクエスチョン

• RQ1 次元 $ d \geq 6 $ において、ノイズのあるサポート関数測定値からの凸体推定において、最小二乗推定器（LSE）はミニマックス最適か？
• RQ2 コンパクトな凸体のサポート関数のクラスにおける非ドンスカー型の設定下で、LSEの収束速度の正確な値は何か？
• RQ3 非ドンスカー型の設定におけるLSEリスクの下界を確立する一般的手法を開発できるか？
• RQ4 自然な非ドンスカー型のクラスでは、LSEはミニマックス速度 $ n^{-2/(2+p)} $ を達成するか、それとも遅い $ n^{-1/p} $ で制限されるか？

主な発見

• 次元 $ d \geq 6 $ の場合、ノイズのあるサポート関数測定値からの凸体推定において、最小二乗推定器（LSE）はミニマックス意味で劣化している。
• LSEは $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ の収束速度を達成するが、これはミニマックス最適速度 $ \Theta_d(n^{-4/(d+3)}) $ よりも厳密に遅い。
• コンパクトな凸体のサポート関数のクラスのエントロピーは $ \epsilon^{-p} $ に比例して増加し、$ p > 2 $ であるため、次元 $ d \geq 6 $ の場合に非ドンスカー型に属する。
• 本稿では、径方向射影と分かちがけ線形関数を用いて球面の帽子上に $ \epsilon $-ネットを構築し、メトリックエントロピーの境界を用いてエントロピーを推定可能とした。
• 高確率的に、LSEは頂点が $ O(d) $ 未満の凸集合のみを検討し、頂点が大きなものは除外される。これは、尤度が低い集合を除外することを意味する。
• 解析により、LSEリスクの下界が $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ であることが確認され、ミニマックス速度 $ \Theta_d(n^{-4/(d+3)}) $ を達成できないことが証明された。