[論文レビュー] Isotonic regression in general dimensions

Qiyang Han, Tengyao Wang+2 more|arXiv (Cornell University)|Aug 30, 2017

Statistical Methods and Inference参考文献 51被引用数 20

ひとこと要約

本稿は、固定格子および確率的設計のもとで一般次元 d ≥ 3 における等単調回帰のミニマックス最適レートを確立する。最小二乗推定量が、多項対数因子を除いて、経験的 L² 損失において n^{-min(2/(d+2), 1/d)} のオーダーのレートを達成することを証明する。真の関数が k 個の超長方形上での区分的定数関数である場合、適応的レート (k/n)^{min(1,2/d)} を達成する。

ABSTRACT

We study the least squares regression function estimator over the class of real-valued functions on $[0,1]^d$ that are increasing in each coordinate. For uniformly bounded signals and with a fixed, cubic lattice design, we establish that the estimator achieves the minimax rate of order $n^{-\min\{2/(d+2),1/d\}}$ in the empirical $L_2$ loss, up to poly-logarithmic factors. Further, we prove a sharp oracle inequality, which reveals in particular that when the true regression function is piecewise constant on $k$ hyperrectangles, the least squares estimator enjoys a faster, adaptive rate of convergence of $(k/n)^{\min(1,2/d)}$, again up to poly-logarithmic factors. Previous results are confined to the case $d \leq 2$. Finally, we establish corresponding bounds (which are new even in the case $d=2$) in the more challenging random design setting. There are two surprising features of these results: first, they demonstrate that it is possible for a global empirical risk minimisation procedure to be rate optimal up to poly-logarithmic factors even when the corresponding entropy integral for the function class diverges rapidly; second, they indicate that the adaptation rate for shape-constrained estimators can be strictly worse than the parametric rate.

研究の動機と目的

• 一般次元 d ≥ 3 における等単調回帰のミニマックスリスクバウンドを確立すること。
• k 個の超長方形領域で区分的定数信号に適応する不等式の鋭さを示す鋭いオラクル不等式を導出すること。
• 従来 d ≤ 2 に限られていた結果を、高次元における固定および確率的設計設定に拡張すること。
• 経験的リスクの観点から最小二乗推定量の挙動を分析すること、特に収束レートと適応性を含む。

提案手法

• 設計点によって誘導される有向無閉路グラフによって定義される多面体凸錐 M(GX) への射影として等単調回帰の幾何的解釈を用いる。
• 対称化された経験過程理論とエントロピー積分バウンドを用いて、等単調関数の関数クラス上の経験過程を制御する。
• ブレケットエントロピーおよびエントロピー積分技術を用いて、関数クラス F⁺_{d,↓} ∩ B₂(r) ∩ B∞(1) の複雑さを制御する。
• 近似誤差と推定誤差の項に分解したリスクを組み合わせることで、鋭いオラクル不等式を導出する。
• 再帰的積分の議論とスケーリングを用いて、[0,1]^d 内のストリップ上でのエンvelop関数の L² ノルムをバウンドする。
• 等単調推定量のミニマックス表現を用いて、スパゲッティノルムの上側確率を導出する。

実験結果

リサーチクエスチョン

• RQ1 固定格子設計のもとで、d ≥ 3 次元における等単調回帰のミニマックス収束レートは何か？
• RQ2 真の回帰関数が高次元における k 個の超長方形領域で区分的定数関数である場合、最小二乗等単調推定量は適応的レートを達成できるか？
• RQ3 より困難な確率的設計設定において、等単調回帰のリスクバウンドは固定設計と比べてどのように振る舞うか？
• RQ4 等単調関数クラスのエントロピー積分は急速に発散するが、その場合でも推定量は対数因子を除いてレート最適性を保つことができるか？
• RQ5 高次元における形状制約付き推定量の適応的レートは、パラメトリックレートよりも厳密に悪いことがあるか？

主な発見

• 固定格子設計のもとで、最小二乗等単調推定量は、多項対数因子を除いて、経験的 L² 損失において n^{-min(2/(d+2), 1/d)} のオーダーのミニマックスレートを達成する。
• k 個の超長方形領域で区分的定数関数である信号に対して、推定量は (k/n)^{min(1,2/d)} のレートで適応的である。これは最悪ケースレートよりも速い。
• 本稿は、近似誤差と (k(θ)/n)^{2/d} log^8(en/k(θ)) の項を含む鋭いオラクル不等式を確立し、定数領域の数 k(θ) を用いてリスクが有界であることを示す。
• 確率的設計設定でも同様のレートが達成され、エントロピー積分が急速に発散する場合でも、グローバルな経験的リスク最小化がレート最適性を達成できることを示している。
• 結果から、高次元における等単調回帰の適応的レートは、パラメトリックレートよりも厳密に悪いことがあることが示され、形状制約が常にパラメトリックレートをもたらすという直観に反する。
• 本稿は、d ≥ 3 次元における等単調回帰の最初のリスクバウンドを提供し、従来 d ≤ 2 に限られていた結果を拡張している。