[論文レビュー] Penalized Estimation in Additive Regression with High-Dimensional Data

Zhiqiang Tan, Cun‐Hui Zhang|arXiv (Cornell University)|Apr 24, 2017

Statistical Methods and Inference参考文献 7被引用数 4

ひとこと要約

本稿は、滑らかさを誘導するための関数的半ノルムと、スパarsityを誘導するための経験的 $L_2$ ノルムを用いた、高次元加法的回帰におけるペナルティ推定フレームワークを構築する。サブガウスノイズ、適合性、エントロピー条件の下で、スパarsity構造に応じて遅い収束速度から速い収束速度までをカバーする明示的な収束速度を示す、新たなオラクル不等式を確立する。これは、非パラメトリック加法的モデリング分野における既存の結果を顕著に一般化する。

ABSTRACT

Additive regression provides an extension of linear regression by modeling the signal of a response as a sum of functions of covariates of relatively low complexity. We study penalized estimation in high-dimensional nonparametric additive regression where functional semi-norms are used to induce smoothness of component functions and the empirical $L_2$ norm is used to induce sparsity. The functional semi-norms can be of Sobolev or bounded variation types and are allowed to be different amongst individual component functions. We establish new oracle inequalities for the predictive performance of such methods under three simple technical conditions: a sub-gaussian condition on the noise, a compatibility condition on the design and the functional classes under consideration, and an entropy condition on the functional classes. For random designs, the sample compatibility condition can be replaced by its population version under an additional condition to ensure suitable convergence of empirical norms. In homogeneous settings where the complexities of the component functions are of the same order, our results provide a spectrum of explicit convergence rates, from the so-called slow rate without requiring the compatibility condition to the fast rate under the hard sparsity or certain $L_q$ sparsity to allow many small components in the true regression function. These results significantly broadens and sharpens existing ones in the literature.

研究の動機と目的

• 高次元非パラメトリック加法的回帰におけるペナルティ推定の統一的フレームワークの構築を目的とする。
• 複雑な関数クラスを伴う高次元設定において、滑らかさとスパarsityのバランスをとる課題に取り組むことを目的とする。
• 最小限で解釈可能な正則性条件の下で、予測性能の理論的保証を確立することを目的とする。
• 異種の関数的半ノルムと柔軟な設計仮定を許容することで、既存のオラクル結果を一般化することを目的とする。

提案手法

• 経験的 $L_2$ ノルムによるスパarsityと関数的半ノルム（ソボレフ、有界 variation）による滑らかさを組み合わせたペナルティ損失関数を用いる。
• 推定量を、成分別チューニングパラメータ $\lambda_{nj}$ と $\rho_{nj}$ を用いた加法的関数空間上の最小化問題として定義する。
• 個々の成分関数 $g_j$ の複雑さを制御するため、関数的半ノルム $\|g_j\|_{F,j}$ を用い、各成分ごとに異なるノルムを許容する。
• 適合性条件とエントロピー条件を用いてオラクル不等式を導出し、後者は $\mathcal{G}_j$ 上のメトリックエントロピーの上限から得られる。
• 補間不等式とノルム比較を用いて収束速度を導出し、$L_\infty$ の制御にガリャルド・ニレングェルク型の境界を含む。
• 固定設計とランダム設計の両方を扱い、追加の収束仮定の下で経験的適合性を母集団版に置き換える。

実験結果

リサーチクエスチョン

• RQ1 高次元的・非パラメトリックな設定下で、ペナルティ付き加法的推定量の理論的予測性能保証は何か？
• RQ2 ソボレフ、有界 variation などの異なる関数的半ノルムは、加法的モデルにおける収束速度にどのように影響を与えるか？
• RQ3 高次元性と弱いスパarsityの下でも、速い収束速度を達成できる条件は何か？
• RQ4 ランダム設計設定において、適合性条件を母集団レベルのものに置き換えられるか？
• RQ5 メトリックエントロピーは、加法的モデルの収束速度を決定づける役割を果たすか？

主な発見

• 本稿は、サブガウスノイズ、適合性、エントロピーの3つの最小条件の下で、予測リスクに関する新たなオラクル不等式を確立する。
• 同質的設定では、適合性が不要な場合に遅い収束速度を達成し、硬いスパarsityまたは多くの小さな成分を含む $L_q$ スパarsityの下では速い収束速度を達成する。
• 収束速度は、スパarsity構造に応じて $n^{-1/2}$（遅い速度）から $n^{-1}$（速い速度）まで変動する。
• ソボレフおよび有界 variation のクラスでは、明示的な境界 $H^*(u, \cdot) \leq B u^{-1/m}$ を用いてエントロピー条件を満たし、収束速度の導出が可能となる。
• $\overline{\mathcal{V}}^1$ に属する関数の $L_\infty$ ノルムは、$H^*(u, \cdot) \leq B_5 u^{-1}$ を用いて制御され、$\psi_n(z) \asymp z^{1/2}$ が得られる。
• 補間不等式により、$\|f\|_\infty$ が $\|f\|_{L_2}$ と高階の半ノルムの関数として有界に抑えられることを示し、一様制御が可能となる。