[論文レビュー] Provable Smoothing Approach in High Dimensional Generalized Regression Model

Fang Han, Honglang Wang|arXiv (Cornell University)|Sep 23, 2015

Statistical Methods and Inference参考文献 45被引用数 4

ひとこと要約

本稿では、高次元一般化線形モデルにおけるランクベースM推定量のための証明可能に最適なスムージング手法を提案する。非滑らかで不連続な損失関数を滑らかな近似に変換することで、計算的に扱いやすく理論的にも妥当な推論が可能になる。スパarsity下で、ルートnの一致性とスケーリング最適性を達成し、高次元一般化回帰モデルにおいて初めてのこのような結果を確立する。

ABSTRACT

The generalized regression model is an important semiparametric generalization to the linear regression model. It assumes there exist unknown monotone increasing link functions connecting the response $Y$ to a single index $X^T\beta^*$ of explanatory variables $X\in\mathbb{R}^d$. The generalized regression model covers a lot of well-exploited statistical models. It is appealing in many applications where regression models are regularly employed. In low dimensions, rank-based M-estimators are recommended, giving root-$n$ consistent estimators of $\beta^*$. However, their applications to high dimensional data are questionable. This is mainly due to the discontinuity of the loss function $\hat{L}(\cdot)$: (i) computationally, because of $\hat{L}(\cdot)$'s non-smoothness, the optimization problem is intractable; (ii) theoretically, the discontinuity of $\hat{L}(\cdot)$ renders difficulty for analysis in high dimensions. In contrast, this paper suggests a simple, yet powerful, smoothing approach for rank-based estimators. A family of smoothing functions is provided, and the amount of smoothing necessary for efficient inference is carefully calculated. We show the resulting estimators are scaling optimal, i.e., they are consistent estimators of $\beta^*$ as long as $(n,d,s)$ are within an optimal range (here $s$ represents the sparsity degree). These are the first such results in the literature. The proposed approaches' power is further verified empirically.

研究の動機と目的

• 非滑らかで不連続な損失関数が高次元ランクベースM推定量に与える計算的・理論的課題に対処すること。
• ランクベース推定量の統計的効率性を保ちつつ、高次元設定でも最適化が可能なスムージングフレームワークを開発すること。
• スパarsity下で、高次元一般化回帰モデルにおけるルートnの一致性とスケーリング最適性の理論的保証を初めて確立すること。
• 提案されたスムージング手法の実用的有効性を、高次元推論の実践的状況において検証すること。

提案手法

• ランクベースM推定量の不連続な損失関数を近似するスムージング関数の族を導入し、微分可能性と計算的扱いやすさを確保する。
• バイアス低減と分散制御のバランスを図るために、スムージングの程度を慎重に調整し、最適な推論を実現する。
• 元の非滑らか最適化問題を、標準的な数値最適化手法に適した滑らかで凸な代理問題に変換する。
• 理論的分析により、標本サイズ $ n $、次元 $ d $、スパarsity $ s $ がスケーリング条件を満たす限り、スムージング推定量がルートnの一致性を達成することが示された。
• スムージング手法がスケーリング最適であることが示され、つまりスパarsity制約下で $ (n, d, s) $ の最大の範囲において一貫性を維持することが分かった。

実験結果

リサーチクエスチョン

• RQ1 高次元設定におけるランクベースM推定量の計算可能性と統計的一致性を実現するスムージング手法を設計できるか？
• RQ2 高次元一般化回帰モデルにおける最適な統計的性能を確保するために必要な最小のスムージング量は何か？
• RQ3 スパarsity下で高次元的状況において、スムージング推定量はルートnの一致性とスケーリング最適性を達成するか？
• RQ4 提案手法は、推定精度とロバストネスの観点から、既存の手法と比較してどのように差がつくか？

主な発見

• 提案されたスムージング手法により、従来の手法が失敗する高次元設定でも、ランクベースM推定量の計算的に扱える最適化が可能になった。
• スムージング推定量は、$ (n, d, s) $ が最適なスケーリング領域内にある限り、$ \beta^* $ に対してルートnの一致性を達成し、この文脈で初めての結果を確立した。
• 本手法はスケーリング最適であることが示され、つまりスパarsity下で $ (n, d, s) $ の最大の範囲において一貫性を維持し、理論的限界に一致する。
• 理論的分析により、スムージングが統計的効率性を損なわないことが確認され、ランクベース推定のロバストネスが保たれた。
• 実験的結果により、提案手法の実用的威力とロバストネスが、高次元回帰状況において明確に示された。