[论文解读] Isotonic Regression in Multi-Dimensional Spaces and Graphs

Hang Deng, Cun‐Hui Zhang|arXiv (Cornell University)|Dec 21, 2018

Statistical Methods and Inference参考文献 22被引用 8

一句话总结

本文提出了一种多维空间与图结构上的分块估计器，用于等向回归，在有界范围内实现了 $n^{-1/d}$ 的极小极大风险率，当均值函数为 $K$-分段常数时，达到了接近参数化的自适应率 $(K/n)\{1\vee\log(n/K)\}^d$。该分块估计器在变量选择中表现出oracle性质，能自动适应至对数因子范围内的真实潜在变量集。

ABSTRACT

In this paper we study minimax and adaptation rates in general isotonic regression. For uniform deterministic and random designs in $[0,1]^d$ with $d\ge 2$ and $N(0,1)$ noise, the minimax rate for the $\ell_2$ risk is known to be bounded from below by $n^{-1/d}$ when the unknown mean function $f$ is nondecreasing and its range is bounded by a constant, while the least squares estimator (LSE) is known to nearly achieve the minimax rate up to a factor $(\log n)^γ$ where $n$ is sample size, $γ= 4$ in the lattice design and $γ= \max\{9/2, (d^2+d+1)/2 \}$ in the random design. Moreover, the LSE is known to achieve the adaptation rate $(K/n)^{-2/d}\{1\vee \log(n/K)\}^{2γ}$ when $f$ is piecewise constant on $K$ hyperrectangles in a partition of $[0,1]^d$. Due to the minimax theorem, the LSE is identical on every design point to both the max-min and min-max estimators over all upper and lower sets containing the design point. This motivates our consideration of estimators which lie in-between the max-min and min-max estimators over possibly smaller classes of upper and lower sets, including a subclass of block estimators. Under a $q$-th moment condition on the noise, we develop $\ell_q$ risk bounds for such general estimators for isotonic regression on graphs. For uniform deterministic and random designs in $[0,1]^d$ with $d\ge 3$, our $\ell_2$ risk bound for the block estimator matches the minimax rate $n^{-1/d}$ when the range of $f$ is bounded and achieves the near parametric adaptation rate $(K/n)\{1\vee\log(n/K)\}^{d}$ when $f$ is $K$-piecewise constant. Furthermore, the block estimator possesses the following oracle property in variable selection: When $f$ depends on only a subset $S$ of variables, the $\ell_2$ risk of the block estimator automatically achieves up to a poly-logarithmic factor the minimax rate based on the oracular knowledge of $S$.

研究动机与目标

• 在 $[0,1]^d$ 上建立 $d \geq 2$ 的等向回归的极小极大率与自适应率，适用于均匀确定性与随机设计。
• 在图结构上的等向回归中，为 $ vert\ell_q$ 风险建立一般框架，噪声条件为 $q$-阶矩。
• 提出并分析一种分块估计器，实现多维等向回归中的极小极大率与近似参数化自适应率。
• 展示分块估计器在变量选择中的oracle性质，即其能以对数因子为界自动适应真实相关变量子集。

提出的方法

• 本文引入了一类位于受限上集与下集类上的最大-最小与最小-最大估计器之间的估计器族，包括分块估计器。
• 在噪声的 $q$-阶矩条件下，推导了图结构上一般估计器的 $ vert\ell_q$ 风险界。
• 分块估计器被定义为在超长方体块 $[\boldsymbol{u}, \boldsymbol{v}]$ 上观测值的平均值，确保满足等向性约束。
• 理论分析利用极小极大定理，表明LSE与最大-最小及最小-最大估计器一致，并利用此关系界定了中间估计器的风险。
• 当 $d \geq 3$ 时，若函数取值范围有界，分块估计器实现了极小极大率 $n^{-1/d}$。
• 通过证明分块估计器的风险与基于真实变量子集 $S$ 的oracle知识所达到的极小极大率相差一个多项式对数因子，建立了其oracle性质。

实验结果

研究问题

• RQ1 在 $d \geq 3$ 的多维等向回归中，分块估计器能否实现极小极大率 $n^{-1/d}$？
• RQ2 当真实函数在 $[0,1]^d$ 上为 $K$-分段常数时，分块估计器是否实现近似参数化自适应？
• RQ3 分块估计器能否在等向回归中自动适应真实相关变量子集，实现对数因子范围内的oracle率？
• RQ4 在不同函数类与维度下，分块估计器与最小二乘估计器（LSE）在风险与鲁棒性方面如何比较？
• RQ5 在何种条件下，LSE无法优于分块估计器，而分块估计器又能优于LSE？

主要发现

• 当真实函数取值范围有界时，分块估计器在 $d$-维等向回归中实现了 $ vert\ell_2$ 风险的极小极大率 $n^{-1/d}$。
• 对于 $[0,1]^d$ 上的 $K$-分段常数函数，分块估计器达到了近似参数化自适应率 $(K/n)\{1\vee\log(n/K)\}^d$，与最优LSE率一致。
• 分块估计器表现出oracle性质：其风险在真实变量子集 $S$ 的oracle知识下达到的极小极大率的多项式对数因子范围内。
• 在 $d=3$ 的模拟实验中，分块估计器在六次实验中的四次显著优于LSE，$p$-值均 ≤ 0.0062，且在多数情形下均方损失更低。
• 在 $50 \times 20$ 网格上的两段函数示例中，LSE略优于分块估计器，但差异不显著（$p$-值 = 0.6163），表明分块估计器具有鲁棒性。
• 在 $q$-阶矩噪声条件下，分块估计器的风险被界为 $C \cdot (K/n)\{1\vee\log(n/K)\}^d$，确立了其自适应性与鲁棒性。