[論文レビュー] Isotonic Regression in Multi-Dimensional Spaces and Graphs

Hang Deng, Cun‐Hui Zhang|arXiv (Cornell University)|Dec 21, 2018

Statistical Methods and Inference参考文献 22被引用数 8

ひとこと要約

本稿は、多変数空間およびグラフにおける等単調回帰のためのブロック推定量を導入し、有界な範囲下での $\ell_2$ リスクに対して最小最大レート $n^{-1/d}$ を達成するとともに、平均関数が $K$-区分的定数関数である場合に近似パラメトリックな適応レート $(K/n)\{1\vee\log(n/K)\}^d$ を達成する。ブロック推定量は変数選択においてオラクル性質を示し、対数要因を除いて真の関連変数集合に自動的に適応する。

ABSTRACT

In this paper we study minimax and adaptation rates in general isotonic regression. For uniform deterministic and random designs in $[0,1]^d$ with $d\ge 2$ and $N(0,1)$ noise, the minimax rate for the $\ell_2$ risk is known to be bounded from below by $n^{-1/d}$ when the unknown mean function $f$ is nondecreasing and its range is bounded by a constant, while the least squares estimator (LSE) is known to nearly achieve the minimax rate up to a factor $(\log n)^γ$ where $n$ is sample size, $γ= 4$ in the lattice design and $γ= \max\{9/2, (d^2+d+1)/2 \}$ in the random design. Moreover, the LSE is known to achieve the adaptation rate $(K/n)^{-2/d}\{1\vee \log(n/K)\}^{2γ}$ when $f$ is piecewise constant on $K$ hyperrectangles in a partition of $[0,1]^d$. Due to the minimax theorem, the LSE is identical on every design point to both the max-min and min-max estimators over all upper and lower sets containing the design point. This motivates our consideration of estimators which lie in-between the max-min and min-max estimators over possibly smaller classes of upper and lower sets, including a subclass of block estimators. Under a $q$-th moment condition on the noise, we develop $\ell_q$ risk bounds for such general estimators for isotonic regression on graphs. For uniform deterministic and random designs in $[0,1]^d$ with $d\ge 3$, our $\ell_2$ risk bound for the block estimator matches the minimax rate $n^{-1/d}$ when the range of $f$ is bounded and achieves the near parametric adaptation rate $(K/n)\{1\vee\log(n/K)\}^{d}$ when $f$ is $K$-piecewise constant. Furthermore, the block estimator possesses the following oracle property in variable selection: When $f$ depends on only a subset $S$ of variables, the $\ell_2$ risk of the block estimator automatically achieves up to a poly-logarithmic factor the minimax rate based on the oracular knowledge of $S$.

研究の動機と目的

• 一様な決定的および確率的設計のもとで $d \geq 2$ の $[0,1]^d$ における等単調回帰の最小最大および適応的レートを確立すること。
• グラフ上の等単調回帰における $\ell_q$ リスクの一般枠組みを構築し、$q$ 階モーメントノイズ条件の下で境界を導出すること。
• 多変数等単調回帰において最小最大レートと近似パラメトリックな適応レートを達成するブロック推定量を提案・分析すること。
• ブロック推定量が変数選択においてオラクル性質を示すことを実証し、真の関連変数の部分集合にまで対数要因を除いて適応することを示すこと。

提案手法

• 本稿は、上界集合および下界集合の制限付きクラスにおける最大最小および最小最大推定量の間の推定量のクラスを導入し、これにブロック推定量を含む。
• ノイズの $q$ 階モーメント条件の下で、一般の推定量のグラフ上における $\ell_q$ リスク境界を導出する。
• ブロック推定量は、ハイパーレクトアングルーブロックス $[\boldsymbol{u}, \boldsymbol{v}]$ 内の観測値の平均として定義され、等単調性制約を満たすように保証される。
• 理論的分析では最小最大定理を用い、最小二乗推定量（LSE）が最大最小および最小最大推定量と一致することを示し、これにより中間推定量のリスクを制限する。
• $d \geq 3$ の場合、関数の範囲が有界であれば、ブロック推定量は最小最大レート $n^{-1/d}$ を達成する。
• ブロック推定量のオラクル性質を確立するため、真の関連変数集合 $S$ を事前に知った場合の最小最大レートに、多項式対数因子を除いて一致するリスクを示す。

実験結果

リサーチクエスチョン

• RQ1 $d \geq 3$ の多変数等単調回帰において、ブロック推定量が最小最大レート $n^{-1/d}$ を達成できるか？
• RQ2 真の関数が $[0,1]^d$ 上で $K$-区分的定数関数である場合、ブロック推定量が近似パラメトリックな適応を達成するか？
• RQ3 ブロック推定量は、真の関連変数の部分集合に自動的に適応可能であり、対数要因を除いてオラクルレートを達成できるか？
• RQ4 異なる関数クラスおよび次元において、ブロック推定量と最小二乗推定量（LSE）のリスクおよびロバストネスの観点から、どのように比較されるか？
• RQ5 LSEがブロック推定量を上回らない条件は何か？また、ブロック推定量がLSEを上回る状況はどのようなときか？

主な発見

• 真の関数の範囲が有界である場合、ブロック推定量は $d$ 次元等単調回帰における $\ell_2$ リスクに対して最小最大レート $n^{-1/d}$ を達成する。
• $[0,1]^d$ 上の $K$-区分的定数関数に対して、ブロック推定量は近似パラメトリックな適応レート $(K/n)\{1\vee\log(n/K)\}^d$ を達成し、既知の最良のLSEレートと一致する。
• ブロック推定量はオラクル性質を示す：そのリスクは、真の関連変数集合 $S$ を事前に知った場合の最小最大レートに多項式対数因子を除いて一致する。
• $d=3$ のシミュレーションでは、6回の実験のうち4回でブロック推定量がLSEを著しく上回り、$p$-値 ≤ 0.0062 であり、多数の設定で平均二乗誤差が低かった。
• $50 \times 20$ の格子上での2ピece関数の例では、LSEがわずかにブロック推定量を上回ったが、差は有意でなかった（$p$-値 = 0.6163）、これはブロック推定量のロバストネスを示している。
• $q$ 階モーメントノイズの下で、ブロック推定量のリスクは $C \cdot (K/n)\{1\vee\log(n/K)\}^d$ で有界であることが示され、適応性およびロバストネスが確立された。