[論文レビュー] Multivariate extensions of isotonic regression and total variation denoising via entire monotonicity and Hardy-Krause variation

Billy Fang, Adityanand Guntuboyina+1 more|arXiv (Cornell University)|Mar 4, 2019

Statistical Methods and Inference参考文献 61被引用数 12

ひとこと要約

本稿では、1次元の等方的回帰と全変動ノイズ除去を高次元に一般化する2つの多変量非パラメトリック最小二乗推定法——完全に単調なLSEと、ハーディ＝クラウゼ変動制約付きLSE——を導入する。これらの推定法は、有限標本リスクが $ n^{-2/3} $（$ d $ における対数因子を除いて）で抑えられ、次元の呪いを回避する。また、真の関数が近似的に長方形領域上の区分定数関数である場合には、ほぼパラメトリックなリスクを示す。

ABSTRACT

We consider the problem of nonparametric regression when the covariate is $d$-dimensional, where $d \geq 1$. In this paper we introduce and study two nonparametric least squares estimators (LSEs) in this setting---the entirely monotonic LSE and the constrained Hardy-Krause variation LSE. We show that these two LSEs are natural generalizations of univariate isotonic regression and univariate total variation denoising, respectively, to multiple dimensions. We discuss the characterization and computation of these two LSEs obtained from $n$ data points. We provide a detailed study of their risk properties under the squared error loss and fixed uniform lattice design. We show that the finite sample risk of these LSEs is always bounded from above by $n^{-2/3}$ modulo logarithmic factors depending on $d$; thus these nonparametric LSEs avoid the curse of dimensionality to some extent. We also prove nearly matching minimax lower bounds. Further, we illustrate that these LSEs are particularly useful in fitting rectangular piecewise constant functions. Specifically, we show that the risk of the entirely monotonic LSE is almost parametric (at most $1/n$ up to logarithmic factors) when the true function is well-approximable by a rectangular piecewise constant entirely monotone function with not too many constant pieces. A similar result is also shown to hold for the constrained Hardy-Krause variation LSE for a simple subclass of rectangular piecewise constant functions. We believe that the proposed LSEs yield a novel approach to estimating multivariate functions using convex optimization that avoid the curse of dimensionality to some extent.

研究の動機と目的

• 1次元の等方的回帰と全変動ノイズ除去の自然な多変量拡張を開発し、望ましい非パラメトリック性を保つこと。
• 次元に依存しないリスクバウンドを持つ形状制約付き推定法を導入することで、多変量非パラメトリック回帰における次元の呪いを克服すること。
• 凸最適化を用いて2つの新しい最小二乗推定法——完全に単調なLSEとハーディ＝クラウゼ変動制約付きLSE——の特徴付けと計算を行うこと。
• 二乗誤差損失の下で有限標本リスクバウンドを確立し、真の関数が近似的に長方形領域上の区分定数関数である場合にほぼパラメトリックな性能を示すことを示すこと。
• ほぼ一致するミニマックス下界を証明し、導出されたリスクレートの最適性を確認すること。

提案手法

• 区間 $[0,1]^d$ 上の完全に単調関数のクラス $ \mathcal{F}_{\text{EM}}^d $ を定義し、1次元の非減少関数を多次元に一般化する。
• 完全に単調なLSEを、$ \mathcal{F}_{\text{EM}}^d $ 上で経験的リスクを最小化する凸二次計画問題として定式化し、線形制約を伴う。
• ハーディ＝クラウゼ変動の上界を関数に課すことにより、ハーディ＝クラウゼ変動制約付きLSEを導入し、全変動ノイズ除去を多次元に拡張する。
• 関数の均等格子上の離散的グリッド表現を用いて、推定法を有限次元の二次計画問題として表現する。
• ガウス過程およびガウス幅技術を用いて、推定法の期待リスクに対する上界を導出する。
• ガウスベクトルの分解技術と尾確率バウンドを用いて、制約付きパrameter空間上の線形形式の上界を制御する。

実験結果

リサーチクエスチョン

• RQ1 1次元等方的回帰の自然な多変量一般化は何か？ これは、区分定数関数へのフィッティング性とリスク特性を保つべきである。
• RQ2 全変動ノイズ除去を多変量非パラメトリック回帰に拡張する方法は何か？ これにより、望ましいリスクレートを維持できるようにする。
• RQ3 これらの多変量推定法は、特に有限標本リスクバウンドの観点から、次元の呪いを回避できるか？
• RQ4 どのような条件下で、これらの推定法がほぼパラメトリックなリスク（$ O(1/n) $、対数因子を除いて）を達成するか？
• RQ5 このような形状制約付き推定法のリスクに対するミニマックス下界は、多変量設定でどのように特定されるか？

主な発見

• 完全に単調なLSEおよびハーディ＝クラウゼ変動制約付きLSEの有限標本リスクは、上界として $ C_d n^{-2/3} $ で抑えられ、$ C_d $ は次元 $ d $ に対して対数的に依存する。これは、次元の呪いを回避していることを示している。
• 長方形領域上の区分定数関数で、少数の領域に近似可能な完全に単調な関数に対しては、完全に単調なLSEがほぼパラメトリックなリスクを達成し、$ C_d n^{-1} $ で抑えられる（対数因子を除いて）。
• 同様に、長方形領域上の区分定数関数の簡単な部分集合において、ハーディ＝クラウゼ変動制約付きLSEに対してもほぼパラメトリックなリスクが成立する。
• 提案された推定法は、凸最適化問題（線形制約付き二次計画問題）の解として得られ、計算可能で安定している。
• 本稿では、ほぼ一致するミニマックス下界を確立し、$ d $ における対数因子を除いて $ n^{-2/3} $ のリスクレートが最適であることを確認した。
• 理論的分析はガウス幅の議論とパrameter空間の分解に依拠しており、主にガウスベクトルの性質と制約付き上界を用いて、重要なバウンドを導出している。