[論文レビュー] Global Linear and Local Superlinear Convergence of IRLS for Non-Smooth Robust Regression

Liangzu Peng, Christian Kümmerle+1 more|arXiv (Cornell University)|Aug 25, 2022

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、p∈(0,1] における ℓp-準ノルムを用いた非滑らかでロバストな回帰のための、反復的重み付き最小二乗法（IRLS）の新規な変種を提案する。p=1 の場合、安定した範囲空間性質（RSP）の下で全空間線形収束を証明し、p∈(0,1) の場合、局所的2−p次超線形収束を示す。実際の位相再構成、対応のない回帰、顔の修復のタスクにおいて、外れ値やスパースな汚染に優れた性能を発揮する。

ABSTRACT

We advance both the theory and practice of robust $\ell_p$-quasinorm regression for $p \in (0,1]$ by using novel variants of iteratively reweighted least-squares (IRLS) to solve the underlying non-smooth problem. In the convex case, $p=1$, we prove that this IRLS variant converges globally at a linear rate under a mild, deterministic condition on the feature matrix called the extit{stable range space property}. In the non-convex case, $p\in(0,1)$, we prove that under a similar condition, IRLS converges locally to the global minimizer at a superlinear rate of order $2-p$; the rate becomes quadratic as $p o 0$. We showcase the proposed methods in three applications: real phase retrieval, regression without correspondences, and robust face restoration. The results show that (1) IRLS can handle a larger number of outliers than other methods, (2) it is faster than competing methods at the same level of accuracy, (3) it restores a sparsely corrupted face image with satisfactory visual quality. https://github.com/liangzu/IRLS-NeurIPS2022

研究の動機と目的

• 決定的条件の下で、ℓ1正則化ロバスト回帰に対する IRLS の全空間線形収束を確立すること。
• 非凸な ℓp-回帰（p∈(0,1)）に対して IRLS が超線形収束を達成できるかを証明し、収束速度が 2−p であることを示すこと。
• 外れ値やスパースな汚染を伴う実世界の応用において、提案された IRLS 変種の有効性を示すこと。
• 安定した範囲空間性質（RSP）を、正確な回復と収束のための重要な条件として導入し、その妥当性を正当化すること。
• スパース回復の文脈において、p∈(0,1) の ℓp-最小化が ℓ1 よりも優れたサンプル複雑度とロバスト性を示すことを示すこと。

提案手法

• p∈(0,1] における ℓp-回帰のための、重み付き最小二乗法と p に依存するルールによる重み更新を交互に繰り返す、新規な IRLS 変種を提案する。
• 収束の安定化とゼロ除算の回避を目的として、重み計算における動的 ε-許容誤差更新を導入する。
• スパース解の一意的回復を保証する決定的条件として、安定した範囲空間性質（RSP）を採用する。
• 修正された重み更新式：w_i^{(t)} = 1 / (max(|r_i|, ε)^{2−p}) を用いる。ここで r_i は残差、ε は適応的に更新される。
• 実際の応用として、実位相再構成、対応のない回帰、ロバストな顔の修復の3つのタスクに本手法を適用する。
• RSP がガウス行列において高確率で成り立つことを、確率的行列理論およびゴードンのメッシュを通り抜ける定理を用いて理論的に証明する。

実験結果

リサーチクエスチョン

• RQ1 ℓ1-ロバスト回帰に対する IRLS が、どのような条件下で線形速度で全空間収束するか？
• RQ2 非凸な ℓp-回帰（p∈(0,1)）に対して IRLS が超線形収束を達成できるか。収束速度は何か？
• RQ3 安定した範囲空間性質（RSP）は、ℓp-回帰におけるスパース解の一意性と回復性とどのように関係するか？
• RQ4 p∈(0,1) の ℓp-最小化は、外れ値に対するロバスト性とサンプル効率の面で ℓ1 を上回るか？
• RQ5 提案された IRLS 変種は、位相再構成や画像修復のような実世界の問題における大規模な外れ値汚染に対処できるか？

主な発見

• p=1 の場合、安定した範囲空間性質（RSP）の下で、IRLS は全空間線形収束を達成する。RSP はガウス設計行列において高確率で成立する。
• p∈(0,1) の場合、IRLS は局所的にグローバル最小値へ 2−p 次の超線形収束を達成し、p→0 に近づくにつれて二次収束に近づく。
• 位相再構成および対応のない回帰のタスクにおいて、他の手法に比べてはるかに多くの外れ値を処理できる。
• ベースラインソルバー（例：FOM, PDLP, Gurobi）と同等またはそれ以上の速度で、特にスパース汚染の状況下で高い精度を達成する。
• ロバストな顔の修復において、スパースに汚染された入力から視覚的に妥当な画像を効果的に回復でき、最先端の手法を上回る性能を示した。
• 理論的分析により、ℓp-回帰における真のスパース解の一意的回復に関して、RSP 条件が必要かつ十分であることが確認された。