[論文レビュー] Solving OSCAR regularization problems by proximal splitting algorithms

Xiangrong Zeng, Mário A. T. Figueiredo|arXiv (Cornell University)|Sep 24, 2013

Sparse and Compressive Sensing Techniques参考文献 62被引用数 6

ひとこと要約

本稿では、グループ化近接作用素（GPO）と近似近接作用素（APO）を導入することで、OSCAR正則化問題を効率的に解くための近接分割アルゴリズムを提案する。APOは最小限の精度損失で高速収束を実現し、グループスパース信号回復タスクにおいて正確なGPOを上回る速度性能を示す。

ABSTRACT

The OSCAR (octagonal selection and clustering algorithm for regression) regularizer consists of a L_1 norm plus a pair-wise L_inf norm (responsible for its grouping behavior) and was proposed to encourage group sparsity in scenarios where the groups are a priori unknown. The OSCAR regularizer has a non-trivial proximity operator, which limits its applicability. We reformulate this regularizer as a weighted sorted L_1 norm, and propose its grouping proximity operator (GPO) and approximate proximity operator (APO), thus making state-of-the-art proximal splitting algorithms (PSAs) available to solve inverse problems with OSCAR regularization. The GPO is in fact the APO followed by additional grouping and averaging operations, which are costly in time and storage, explaining the reason why algorithms with APO are much faster than that with GPO. The convergences of PSAs with GPO are guaranteed since GPO is an exact proximity operator. Although convergence of PSAs with APO is may not be guaranteed, we have experimentally found that APO behaves similarly to GPO when the regularization parameter of the pair-wise L_inf norm is set to an appropriately small value. Experiments on recovery of group-sparse signals (with unknown groups) show that PSAs with APO are very fast and accurate.

研究の動機と目的

• OSCAR正則化の計算的課題に対処する。これは、非自明な近接作用素を含むため、アルゴリズムの適用範囲が制限される。
• 近接作用素の計算を効率化できるように、OSCAR正則化子を重み付き順序付きℓ₁ノルムに再定式化する。
• GPO（正確）とAPO（近似）という2つの近接作用素を開発し、最先端の近接分割アルゴリズム（PSAs）をOSCAR正則化逆問題に適用可能にする。
• グループスパース信号回復の文脈において、GPOとAPOの間の精度と計算効率のトレードオフを評価する。
• APOに基づくPSAsが、特に大規模問題において著しく短い実行時間で高い精度を達成することを示す。

提案手法

• OSCAR正則化子を重み付き順序付きℓ₁ノルムに再定式化し、近接作用素の計算を簡略化する。
• グループ化近接作用素（GPO）を提案する。これは正確なしきい値処理の後に、等価な成分をグループ化・平均化する。
• 近似近接作用素（APO）を導入する。これは高価なグループ化および平均化ステップを飛ばし、計算オーバーヘッドを低減する。
• APOおよびGPOを、FISTA、TwIST、SpaRSA、SBM、ADMM、PADMMの6つの最先端の近接分割アルゴリズムに統合する。
• ADMMフレームワークを用いて、APOおよびGPOを用いたOSCAR正則化最適化問題を解く。
• 性能評価のため、既知のノイズおよびセンシング行列設定を持つ合成グループスパース信号回復にアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 OSCAR正則化子は、その近接作用素の計算を効率化できるように再定式化可能か？
• RQ2 精度と速度の観点から、近似近接作用素（APO）と正確なグループ化近接作用素（GPO）の性能はどのように比較されるか？
• RQ3 正則化パラメータの値が、APOおよびGPOを用いたPSAの挙動と収束性に与える影響は何か？
• RQ4 FISTA、TwIST、SpaRSAなど、異なる近接分割アルゴリズムがAPOまたはGPOと組み合わせられた場合、OSCAR正則化問題に対してどのように性能を発揮するか？
• RQ5 APOに基づく手法は、計算コストを著しく削減しながらも、大規模なグループスパース信号回復において十分な精度を維持できるか？

主な発見

• APOを用いたPSAsは、GPOを用いたものよりも著しく高速である。FISTA-APOは0.562秒、ADMM-APOは2.23秒で完了したのに対し、GPO対応のものでは1.92秒および16.2秒であった。
• APOはGPOとほぼ同一の精度を達成する。1000次元のテスト信号において、FISTA-APOとFISTA-GPOの両者とも平均絶対誤差（MAE）が0.337、平均二乗誤差（MSE）が0.423であった。
• すべてのアルゴリズムの中で、PADMM-APOは最小のMAE（0.313）およびMSE（0.411）を達成しており、0.352秒という高速な実行時間にもかかわらず、優れた精度を示している。
• 信号サイズが増加するに従い、APOに基づくアルゴリズムはGPOに基づくものよりも顕著な速度優位性を示し、大規模問題においてはスケーリング性能に優れている。
• 形式的な収束証明は存在しないが、APOに基づくPSAsは安定して収束し、ペairワイズ ℓ∞ ノルムパラメータを小さな値に設定すれば、GPOの結果とほとんど区別できない。
• 実験により、APOはGPOの実用的で効果的な代替手段であることが確認され、未知のグループ構造を持つグループスパース信号の高速かつ正確な回復を可能にする。