[論文レビュー] Fast, Provably convergent IRLS Algorithm for p-norm Linear Regression

Deeksha Adil, Richard Peng+1 more|arXiv (Cornell University)|Jul 16, 2019

Sparse and Compressive Sensing Techniques被引用数 11

ひとこと要約

この論文は、任意の p ∈ [2, ∞) に対して幾何的収束を保証する最初の IRLS アルゴリズムである p-IRLS を導入している。これは長年の未解決問題を解決するものであり、反復加重最小二乗法を用いた高速で高精度な解法を実現し、実際の応用では標準的な実装よりも 10–50 倍速い。

ABSTRACT

Linear regression in L_p-norm is a canonical optimization problem that arises in several applications, including sparse recovery, semi-supervised learning, and signal processing. Generic convex optimization algorithms for solving L_p-regression are slow in practice. Iteratively Reweighted Least Squares (IRLS) is an easy to implement family of algorithms for solving these problems that has been studied for over 50 years. However, these algorithms often diverge for p > 3, and since the work of Osborne (1985), it has been an open problem whether there is an IRLS algorithm that converges for p > 3. We propose p-IRLS, the first IRLS algorithm that provably converges geometrically for any p \in [2,\infty). Our algorithm is simple to implement and is guaranteed to find a high accuracy solution in a sub-linear number of iterations. Our experiments demonstrate that it performs even better than our theoretical bounds, beats the standard Matlab/CVX implementation for solving these problems by 10–50x, and is the fastest among available implementations in the high-accuracy regime.

研究の動機と目的

• p > 3 の L_p-回帰において、IRLS アルゴリズムが収束可能かどうかという長年の未解決問題を解決すること。
• すべての p ∈ [2, ∞) に対して幾何的収束を保証する、シンプルで実装可能なアルゴリズムを設計すること。
• 高精度な解を得るために、反復回数が非線形に増加する複雑さを達成し、一般の凸最適化ソルバーを上回ること。
• 従来の IRLS 変種が p > 3 で失敗または発散するのに対し、理論的保証を提供すること。

提案手法

• p ≥ 2 の p-ノルム回帰に特化した新しい IRLS 変種として p-IRLS を提案する。
• 収束を保証するように注意深く設計された重み更新ルールを用いた反復加重最小二乗法を採用する。
• 目的関数誤差の幾何的減少に基づく収束解析を採用する。
• 所望の精度に対して反復回数が非線形に増加する理論的境界を確立する。
• 高 p の状態で発散を防ぐために、減衰機構またはステップサイズ制御を導入する。
• p-ノルムと凸最適化の既知の性質を活用して収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 L_p-回帰において p > 3 の場合に、IRLS アルゴリズムが幾何的収束を保証できるか？
• RQ2 標準的な IRLS フレームワークにどのような修正を加えると、すべての p ∈ [2, ∞) で収束が保証されるか？
• RQ3 提案されたアルゴリズムの反復回数の精度および p に対するスケーリング特性はいかなるものか？
• RQ4 CVX などの市販ソルバーと比較して、速度と精度の両面で優れているか？
• RQ5 高精度な解に対して非線形収束を可能にする理論的基盤は何か？

主な発見

• p-IRLS は、任意の p ∈ [2, ∞) に対して幾何的収束を保証する最初の IRLS アルゴリズムである。
• アルゴリズムは反復回数が非線形に増加するため、計算コストを顕著に低減する高精度な解を得られる。
• 実際の応用では、標準的な Matlab/CVX 実装よりも 10–50 倍速く、特に高精度な状態で顕著な性能向上を示す。
• 従来の IRLS 変種がしばしば発散する p > 3 の状態でも、安定かつ収束する。
• 実験的結果は、理論的境界を上回る性能を示しており、強力な実用的効率性を示している。