[論文レビュー] High-dimensional stochastic optimization with the generalized Dantzig estimator

Karim Lounici|ArXiv.org|Nov 14, 2008

Statistical Methods and Inference参考文献 24被引用数 4

ひとこと要約

本稿は、凸最適化を用いて一般化された損失関数へと古典的なDantzig選択子を拡張した高次元確率的最適化のための一般化Dantzig推定量を導入する。スパarsityのオラクル不等式、sup-ノルム収束速度、および相互コherーレンス仮定の下での符号一致性を確立し、特に高次元線形回帰におけるHuber損失に対して有効である。

ABSTRACT

We propose a generalized version of the Dantzig selector. We show that it satisfies sparsity oracle inequalities in prediction and estimation. We consider then the particular case of high-dimensional linear regression model selection with the Huber loss function. In this case we derive the sup-norm convergence rate and the sign concentration property of the Dantzig estimators under a mutual coherence assumption on the dictionary.

研究の動機と目的

• 古典的な二乗損失の枠組みを超えて、高次元確率的最適化に適用可能な一般化Dantzig推定量を開発すること。
• 一般の凸で微分可能な損失関数の下で、予測誤差および推定誤差に関する非漸近的スパarsityのオラクル不等式を導出すること。
• 高次元線形回帰におけるHuber損失に対して、Dantzig推定量のsup-ノルム収束速度および符号一貫性を確立すること。
• 相互コヒーレンス仮定の下で、しきい値を適用した推定量が真のスパースパrameterベクトルの正しい符号パターンを高確率で回復できることを証明すること。

提案手法

• 一般化Dantzig最小化問題を定式化：$|\theta|_1$ を最小化するが、制約 $|\nabla\hat{R}_n(\theta)|_\infty \leq r$ を満たす。ここで $\hat{R}_n$ は経験的リスクである。
• Huber損失を用いた高次元線形回帰にこの手法を適用し、勾配が区分的線形であるため、問題が線形計画問題に簡略化されることを示す。
• 設計関数間の相関を制御するため、辞書 $\mathcal{D} = \{f_1, \dots, f_M\}$ に相互コヒーレンス条件を課す。
• 集中不等式（BousquetのTalagrand不等式のバージョン）およびシンメトライゼーション／コントラクション技術を用いて、経験過程の項をバインドする。
• しきい値を適用した推定量 $\tilde{\theta}_j = \hat{\theta}_j$（$|\hat{\theta}_j| > C_4 r$ の場合）、さもなくば 0 を定義し、符号一貫性を強制する。
• 高確率事象 $\mathcal{A}$ を導入し、$\|\hat{\theta} - \theta^*\|_\infty \leq C_3 r$ を満たすことで、$\rho = \min_{j \in J(\theta^*)} |\theta^*_j|$ の下限がある場合の符号回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Dantzig選択子は、非二乗損失関数に対してもスパarsityおよび推定の一貫性を保ちつつ、高次元設定に一般化可能か？
• RQ2 辞書に対する相互コヒーレンス仮定の下で、一般化Dantzig推定量のsup-ノルム収束速度は何か？
• RQ3 しきい値を適用した一般化Dantzig推定量が符号一貫性を達成する条件は何か、すなわち真のスパースパラメーターベクトルの正しい符号パターンを正しく回復できる条件は何か？
• RQ4 予測誤差および推定誤差に関するオラクル不等式は、スパarsityレベル $s$、次元 $M$、および標本サイズ $n$ にどのように依存するか？
• RQ5 一般化Dantzigフレームワークにおいて、調整パラメータ $r$ は推定誤差と制約満たしのバランスをどのように果たすか？

主な発見

• 一般化Dantzig推定量は、一般の凸で微分可能な損失関数の下で、予測誤差および推定誤差に関するスパarsityのオラクル不等式を満たす。
• 高次元線形回帰におけるHuber損失に対して、推定量は $O(r)$ のsup-ノルム収束速度を達成する。ここで $r$ は調整パラメータである。
• 辞書に対する相互コヒーレンス仮定および最小非ゼロ係数の下限 $\rho > 2C_3 r$ の下で、しきい値を適用した推定量は高確率で符号一貫性を達成する。
• 正しい符号回復の確率は、$1 - M^{-1} - M^{-K} - \exp(-\sqrt{\log M}) - 3M^{-2K}\log(n / \log M)$ で下から抑えられ、$M$ が増加するにつれて 1 に近づく。
• この方法により、しきい値を適用した推定量の解集合 $\tilde{\Theta}$ のすべての解が、真のパラメータ $\theta^*$ と同じ符号を持つことが高確率で保証される。
• 理論的枠組みは、特にHuber損失の場合に線形計画問題に還元されることから、凸最適化による効率的な計算を支援する。