[論文レビュー] A Unified Framework for Sparse Relaxed Regularized Regression: SR3

Peng Zheng, Travis Askham+3 more|arXiv (Cornell University)|Jul 14, 2018

Sparse and Compressive Sensing Techniques参考文献 50被引用数 12

ひとこと要約

本稿では、スパースな緩和正則化回帰のための統一フレームワークであるSR3を紹介する。このフレームワークは、標準的な正則化回帰問題を緩和された最適化部分問題に再定式化することで、誤差、誤検出数の制御、および条件数の改善を達成する。新規の緩和技術を活用することで、凸および非凸正則化子（LASSO、全変動、ℓ₀正則化を含む）に対して、高速かつスケーラブルなアルゴリズムを実現し、優れた性能を発揮する。

ABSTRACT

Regularized regression problems are ubiquitous in statistical modeling, signal processing, and machine learning. Sparse regression in particular has been instrumental in scientific model discovery, including compressed sensing applications, variable selection, and high-dimensional analysis. We propose a broad framework for sparse relaxed regularized regression, called SR3. The key idea is to solve a relaxation of the regularized problem, which has three advantages over the state-of-the-art: (1) solutions of the relaxed problem are superior with respect to errors, false positives, and conditioning, (2) relaxation allows extremely fast algorithms for both convex and nonconvex formulations, and (3) the methods apply to composite regularizers such as total variation (TV) and its nonconvex variants. We demonstrate the advantages of SR3 (computational efficiency, higher accuracy, faster convergence rates, greater flexibility) across a range of regularized regression problems with synthetic and real data, including applications in compressed sensing, LASSO, matrix completion, TV regularization, and group sparsity. To promote reproducible research, we also provide a companion MATLAB package that implements these examples.

研究の動機と目的

• スパース回帰における長年の課題、すなわち悪い条件数、収束の遅さ、非凸形式の取り扱いの難しさに対処すること。
• 多様な正則化回帰問題において、解の品質（誤差低減、誤検出数の削減）を向上させる統一フレームワークの開発。
• ノイズや欠損データがある状況下でも、悪条件で高次元な問題に対して高速かつスケーラブルで耐障害性のあるソルバーの実現。
• 全変動やℓ₀ノルムのような、従来の手法では取り扱いにくい複合的・非凸的正則化子への適用範囲の拡張。

提案手法

• SR3は、元の問題を滑らかで良好な条件数を持つ部分問題に変換するための緩和パラメータを導入することで、標準的な正則化最小二乗問題を再定式化する。
• Hessian行列に基づく緩和法を用い、パrameterized Hessian行列 Hκ を用いて最適化の安定性と条件数の改善を図る。
• ℓq型正則化子のプロキシマル演算子を効率的に計算可能にするように変更された目的関数 fα,p(x;z) を用いた、類似プロキシマル更新戦略を採用する。
• 統一された最適化構造を通じて、ℓ₁（LASSO）、ℓ₀、全変動（TV）、グループスパarsityを含む、凸および非凸正則化子を同時にサポートする。
• 主なイノベーションの一つとして、異なる正則化強度 λ₁ と λ₂ の間で解を結ぶ双対定式化を用いることで、収束保証と耐障害性の向上を実現する。
• ニュートン型手法を用いたプロキシマル演算子の高速反復ソルバーを活用することで、高い計算効率を実現する。

実験結果

リサーチクエスチョン

• RQ1 統一フレームワークは、多様なスパース回帰問題において、解の品質（誤差、誤検出数、条件数）を向上させることができるか？
• RQ2 緩和技術は、悪条件や高次元な回帰問題において、収束速度を著しく向上させ、耐障害性を高めることができるか？
• RQ3 ℓ₀ や全変動のような非凸正則化子を、従来の手法では取り扱いにくいが、このフレームワークは効果的に処理できるか？
• RQ4 ノイズや欠損データ下でも、SR3の性能は最先端のソルバーと比較して、速度、正確性、安定性の面で優れているか？
• RQ5 緩和に基づく再定式化は、元の正則化問題のスパース性促進特性をどれほど保持しているか？

主な発見

• SR3は、最先端の手法と比較して優れた解の品質を達成し、スパース回復タスクにおいて、低い再構成誤差と少ない誤検出数を実現した。
• 緩和された定式化により、より良好な条件数を持つ最適化問題が得られ、収束速度の向上と数値的安定性の向上が実現した。
• SR3は、圧縮センシングや行列補完のような悪条件設定において、従来のソルバーと比較して著しく高速な収束速度を示した。
• フレームワークは、ℓ₀ や全変動のような非凸正則化子を効果的に処理でき、正確性と速度の両面で標準的ソルバーを上回った。
• 理論的分析により、緩和問題と元の問題の解との距離が有界であることが示され、直交行列 A を前提とした明示的な境界が提示された。
• 合成データおよび実世界データを用いた実験結果から、ノイズや欠損データ下でもSR3が高い正確性と耐障害性を維持することが確認された。