[論文レビュー] Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems

Bhaskar Mukhoty, Govind Gopakumar+2 more|arXiv (Cornell University)|Jun 25, 2020

Sparse and Compressive Sensing Techniques被引用数 11

ひとこと要約

本論文は、重み付き強い強凸性と滑らかさを用いて、任意の初期化から収束を保証する、最初のグローバル収束性を有するIRLSアルゴリズムを提示する。STIR（Sparse Truncated Iterative Reweighting）と呼ばれる高速で勾配ベースの変種を導入し、速度とハイパーパramータの誤設定に対するロバスト性において、最先端の手法を上回る性能を発揮する。これは、サブガウス型共変量のもとで、敵対的ラベル汚染に対しても有効である。

ABSTRACT

We provide the first global model recovery results for the IRLS (iteratively reweighted least squares) heuristic for robust regression problems. IRLS is known to offer excellent performance, despite bad initializations and data corruption, for several parameter estimation problems. Existing analyses of IRLS frequently require careful initialization, thus offering only local convergence guarantees. We remedy this by proposing augmentations to the basic IRLS routine that not only offer guaranteed global recovery, but in practice also outperform state-of-the-art algorithms for robust regression. Our routines are more immune to hyperparameter misspecification in basic regression tasks, as well as applied tasks such as linear-armed bandit problems. Our theoretical analyses rely on a novel extension of the notions of strong convexity and smoothness to weighted strong convexity and smoothness, and establishing that sub-Gaussian designs offer bounded weighted condition numbers. These notions may be useful in analyzing other algorithms as well.

研究の動機と目的

• 既存のIRLS解析におけるグローバル収束保証の欠如に起因する、通常は慎重な初期化を要する問題を解決すること。
• 悪意のあるラベル汚染下でも、任意の初期点から信頼性の高いモデル回復を保証するアルゴリズムの開発。
• 標準的回帰および線形腕付きバンディットのような応用設定におけるハイパーパramータの誤設定に対する耐性の向上。
• 新規な概念を用いた理論的基盤の確立：サブガウス型設計のもとで、重み付き強い強凸性と滑らかさ、および有界な重み付き条件数。

提案手法

• STIR（Sparse Truncated Iterative Reweighting）を提案。これは、収束性とロバスト性を向上させる、IRLSの高速で勾配ベースの変種である。
• データ汚染下での収束性を分析するために、重み付き強い強凸性と滑らかさの概念を導入。
• サブガウス型共変量を用いて、有界な重み付き条件数を確立し、グローバル収束保証を可能にする。
• STIRの適応的重みを用いて構築された重み付き共分散行列を用い、線形バンディット応用における信頼集合を形成。
• WUCB-Linアルゴリズム内にSTIRを適用し、重み付き最小二乗法を用いて、汚染された報酬に対しても真のモデルを推定する。
• 残差の大きさに基づいて、過去の観測値を切り詰め・再重み付けし、汚染のおそれのあるデータポイントに低い重みを割り当てる。

実験結果

リサーチクエスチョン

• RQ1 IRLSは、初期化が悪くても、ロバスト回帰においてグローバルに収束させることができるか？
• RQ2 IRLSのヒューリスティックをどのように修正すれば、敵対的ラベル汚染に対してロバスト性を確保できるか？
• RQ3 汚染されたデータが存在する状況でのIRLSのグローバル収束を確立するために、どのような新規な理論的概念が必要か？
• RQ4 STIRは、既存のロバスト回帰アルゴリズムに比べて、速度とハイパーパramータの誤りに対する耐性で優れているか？
• RQ5 重み付き強い強凸性と滑らかさの導入により、サブガウス型設計のもとで、よりタイトな収束解析が可能になるか？

主な発見

• 提案されたSTIRアルゴリズムは、サブガウス型共変量のもとで、敵対的ラベル汚染が存在する場合でも、ロバスト回帰においてグローバル収束を達成する。
• STIRは、標準的回帰タスクにおいて、速度とハイパーパramータの誤設定に対するロバスト性の両面で、最先端の手法を上回る性能を発揮する。
• 線形腕付きバンディットのような応用設定においても、STIRは強力な性能を維持し、汚染された報酬に対しても低い累積偽レジストを達成する。
• 理論的分析により、サブガウス型設計が有界な重み付き条件数をもたらし、グローバル収束保証を可能にすることが示された。
• 重み付き強い強凸性と滑らかさの導入により、標準的凸性を超える、反復的重み付き最小二乗法の新たな解析フレームワークが提供された。
• 実験的結果から、SOCP やハードスレッディングと比較して、STIRは初期化やハイパーパramータの選択に対してより耐性があることが示された。