[論文レビュー] Multivariate convex regression: global risk bounds and adaptation

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|Jan 25, 2016

Statistical Methods and Inference参考文献 65被引用数 36

ひとこと要約

本稿は、確率的設計における多変量凸回帰について、グローバルリスクバインドと適応性を確立し、滑らかな凸体では最小最大リスクが $ n^{-2/(d+1)} $、多角形のサポートでは $ n^{-4/(d+4)} $ であることを示している。境界推定の困難さが要因である。境界付き最小二乗推定器（BLSE）とモデル選択に基づくシーブ型適応推定器（SAE）を導入し、ほぼ最適なレートを達成している。BLSEは低次元において多角形関数にほぼパラメトリックに適応し、SAEは滑らかさのある凸関数クラスにおいてほぼ最適なレートを達成する。

ABSTRACT

We study the problem of estimating a multivariate convex function defined on a convex body in a regression setting with random design. We are interested in optimal rates of convergence under a squared global continuous $l_2$ loss in the multivariate setting $(d\geq 2)$. One crucial fact is that the minimax risks depend heavily on the shape of the support of the regression function. It is shown that the global minimax risk is on the order of $n^{-2/(d+1)}$ when the support is sufficiently smooth, but that the rate $n^{-4/(d+4)}$ is when the support is a polytope. Such differences in rates are due to difficulties in estimating the regression function near the boundary of smooth regions. We then study the natural bounded least squares estimators (BLSE): we show that the BLSE nearly attains the optimal rates of convergence in low dimensions, while suffering rate-inefficiency in high dimensions. We show that the BLSE adapts nearly parametrically to polyhedral functions when the support is polyhedral in low dimensions by a local entropy method. We also show that the boundedness constraint cannot be dropped when risk is assessed via continuous $l_2$ loss. Given rate sub-optimality of the BLSE in higher dimensions, we further study rate-efficient adaptive estimation procedures. Two general model selection methods are developed to provide sieved adaptive estimators (SAE) that achieve nearly optimal rates of convergence for particular "regular" classes of convex functions, while maintaining nearly parametric rate-adaptivity to polyhedral functions in arbitrary dimensions. Interestingly, the uniform boundedness constraint is unnecessary when risks are measured in discrete $l_2$ norms.

研究の動機と目的

• 確率的設計回帰における $ L^2 $ リスク下での多変数凸関数推定の最適収束レートを特定すること。
• サポートの幾何構造（滑らか vs. 多角形）が高次元における最小最大リスクに与える影響を分析すること。
• 境界付き最小二乗推定器（BLSE）の性能を評価し、ほぼ最適なレートを達成する適応推定手順を開発すること。
• 連続的 $ L^2 $ ノルムと離散的 $ L^2 $ ノルムのリスクノルムに応じて、一様有界性制約が必要かどうかの条件を確立すること。
• ノイズのあるサポート関数測定値から未知の凸集合を推定するための適応推定に結果を拡張すること。

提案手法

• サポートの曲率と境界構造に依存する、エントロピーおよび凸幾何学的手法を用いたグローバル最小最大リスクの上界・下界の導出。
• 局所エントロピー手法を用いて境界付き最小二乗推定器（BLSE）を分析し、低次元における多角形関数へのほぼパラメトリックな適応性を示した。
• 一般化された2つのモデル選択手順（L-適応型およびP-適応型）を提案し、滑らかさのある凸関数クラスに対してほぼ最適なレートを達成するシーブ型適応推定器（SAE）を構築した。
• 経済的被覆キャップ定理および湿った部分 $ \bigl|\Omega(t)\bigr| $ の体積推定を用いて境界挙動とエントロピー数を制御した。
• 連続的 $ L^2 $ リスクにおいて一様有界性制約は本質的であるが、離散的 $ L^2 $ ノルムでは不要であることを確立し、レート効率の良い適応性を可能にした。
• このフレームワークを、ノイズのあるサポート関数測定値から未知の凸集合を推定する問題に応用し、ほぼレート最適な適応推定器を導出した。

実験結果

リサーチクエスチョン

• RQ1 サポートが滑らかか多角形の場合に、多変数凸回帰の最適収束レートは何か？
• RQ2 境界付き最小二乗推定器（BLSE）は、異なる次元領域およびサポート幾何構造においてほぼ最適なレートを達成できるか？
• RQ3 特に曲率と境界構造に起因するサポートの幾何構造が、多変数凸回帰における最小最大リスクにどのように影響するか？
• RQ4 連続的 $ L^2 $ 損失によるリスク制御において、一様有界性制約が必要となる条件は何か？
• RQ5 モデル選択手法を用いて、滑らかさのある凸関数および多角形関数の両方に対してほぼ最適なレートを達成する適応推定器を構築できるか？

主な発見

• 滑らかな凸体ではグローバル最小最大リスクが $ n^{-2/(d+1)} $、多角形のサポートでは $ n^{-4/(d+4)} $ であり、境界推定の困難さが反映されている。
• 境界付き最小二乗推定器（BLSE）は低次元ではほぼ最適なレートを達成するが、高次元ではレート非効率性を示す。
• 低次元における多角形関数へのBLSEのほぼパラメトリックな適応性は、局所エントロピー手法により示され、$ n^{-4/(d+4)} $ のレートを達成する。
• 連続的 $ L^2 $ 損失によるリスク評価では一様有界性制約を除外できないが、離散的 $ L^2 $ ノルムでは不要である。
• 滑らかさのある凸関数クラスに対してほぼ最適なレートを達成する2つのモデル選択に基づくシーブ型適応推定器（SAE）が開発された。また、任意の次元において多角形関数へのほぼパラメトリックな適応性を達成した。
• 付随的な成果として、任意の次元においてノイズのあるサポート関数測定値から未知の凸集合をほぼレート最適に適応的に推定する手法が得られた。