[論文レビュー] A Constructive Approach to High-dimensional Regression

Jian Huang, Yuling Jiao+2 more|arXiv (Cornell University)|Jan 18, 2017

Stochastic Gradient Optimization Techniques被引用数 3

ひとこと要約

本稿では、ℓ₀正則化最小二乗法のKKT条件に基づく根を求めることに裏付けられた、高次元スパース線形回帰のための構成的アルゴリズムSDARを提案する。このアルゴリズムは、反復的にサポートを検出するとともに、スパarsityとコherェンス条件の下でℓ₂およびℓ∞推定誤差が指数関数的に減少し、それぞれO(√J log R)およびO(log R)ステップで収束する。また、スパarsityレベルが既知の場合、反復ごとにO(np)のコストでオラクル推定量を正確に回復する。

ABSTRACT

We develop a constructive approach to estimating sparse, high-dimensional linear regression models. The approach is a computational algorithm motivated from the KKT conditions for the $\ell_0$-penalized least squares solutions. It generates a sequence of solutions iteratively, based on support detection using primal and dual information and root finding. We refer to the algorithm as SDAR for brevity. Under a sparse Rieze condition on the design matrix and certain other conditions, we show that with high probability, the $\ell_2$ estimation error of the solution sequence decays exponentially to the minimax error bound in $O(\sqrt{J}\log(R))$ steps; and under a mutual coherence condition and certain other conditions, the $\ell_{\infty}$ estimation error decays to the optimal error bound in $O(\log(R))$ steps, where $J$ is the number of important predictors, $R$ is the relative magnitude of the nonzero target coefficients. Computational complexity analysis shows that the cost of SDAR is $O(np)$ per iteration. Moreover the oracle least squares estimator can be exactly recovered with high probability at the same cost if we know the sparsity level. We also consider an adaptive version of SDAR to make it more practical in applications. Numerical comparisons with Lasso, MCP and greedy methods demonstrate that SDAR is competitive with or outperforms them in accuracy and efficiency.

研究の動機と目的

• 高次元回帰におけるℓ₀正則化最小二乗法の解法という計算上の課題に取り組む。これはNP困難である。
• 凸緩和（例：Lasso）に依存せずに、スパース解を近似する安定的かつ効率的なアルゴリズムを開発する。
• スパarsityおよびコherェンス条件の下で、推定誤差の減少に関する理論的保証を伴う高速収束を達成する。
• スパarsityレベルが既知の場合に、オラクル最小二乗推定量を正確に回復可能にする。
• 既存手法を改善するために、サポート検出とプライマル・デュアル根の探索を組み合わせ、より高い精度と効率性を実現する。

提案手法

• ℓ₀正則化最小二乗法のKKT条件に裏付けられた、SDAR（サポート検出と根の探索）と呼ばれる計算アルゴリズムを提案する。
• 現在の反復におけるプライマルおよびデュアル情報を利用して、真の係数ベクトルのサポートを反復的に検出する。
• 各ステップで根の探索問題を解くことで解を精緻化し、スパース解への収束を保証する。
• 収束速度の保証のため、理論的仮定としてスパースリーマン条件および相互コherェンス条件を用いる。
• スパarsityの事前知識が得られない状況でも実用的性能を向上させるために、SDARの適応的バージョンを導入する。
• 計算複雑性を分析し、反復ごとにO(np)のコストであることを示し、高次元設定においてスケーラブルであることを確認する。

実験結果

リサーチクエスチョン

• RQ1 非凸的でℓ₀に基づく高次元回帰手法は、理論的誤差境界を伴う高速かつ安定した収束を達成できるか？
• RQ2 スパarsityおよびコherェンス仮定の下で、提案されたアルゴリズムSDARはℓ₂およびℓ∞推定誤差において指数的収束を示すか？
• RQ3 真のスパarsityレベルが既知の場合、SDARはオラクル最小二乗推定量を正確に回復できるか？
• RQ4 数値実験において、SDARはLasso、MCP、およびグリーディ法と比較して精度および効率性に優れているか？
• RQ5 SDARの計算コストは何か？また、高次元設定において効率的にスケーリング可能か？

主な発見

• スパースリーマン条件の下で、SDARのℓ₂推定誤差はO(√J log R)ステップで最小最大誤差境界に指数的減少する。ここでJは重要変数の数である。
• 相互コherェンス条件の下で、SDARのℓ∞推定誤差はO(log R)ステップで最適誤差境界に収束する。ここでRは非ゼロ係数の相対的大きさである。
• スパarsityレベルsが既知の場合、SDARは高確率でオラクル最小二乗推定量を正確に回復する。反復ごとのコストはO(np)である。
• SDARの計算複雑性は反復ごとにO(np)であり、pおよびnが大きい場合でもスケーラブルである。
• 数値比較により、SDARはLasso、MCP、およびグリーディ法と比較して、精度および効率性の両面で競争的または優れていることが示された。
• SDARの適応的バージョンは、スパarsityの事前知識がなくても、動的閾値調整により実用的性能を向上させた。