[論文レビュー] Sparse and Smooth Signal Estimation: Convexification of L0 Formulations

Alper Atamtürk, Andrés Gómez+1 more|arXiv (Cornell University)|Jan 1, 2021

Sparse and Compressive Sensing Techniques被引用数 10

ひとこと要約

本論文は、ℓ₁-緩和法の限界を直接是正するため、ℓ₀-ノルムのスパarsityとスムージング制約をより緊密で解釈可能な凸形式に統合することで、スパースかつスムージングされた信号推定のための反復的凸円錐二次緩和法を提案する。100,000変数までの問題に対して1分未満で正確なℓ₀解の1%以内の解を得ることができ、標準的なℓ₁ベースの手法を著しく上回りながら、アフィンスパースプライアを可能にする。

ABSTRACT

Signal estimation problems with smoothness and sparsity priors can be naturally modeled as quadratic optimization with $\ell_0$-norm constraints. Since such problems are non-convex and hard-to-solve, the standard approach is, instead, to tackle their convex surrogates based on $\ell_1$-norm relaxations. In this paper, we propose a new iterative (convex) conic quadratic relaxations that exploit not only the $\ell_0$-norm terms, but also the fitness and smoothness functions. The iterative convexification approach substantially closes the gap between the $\ell_0$-norm and its $\ell_1$ surrogate. These stronger relaxations lead to significantly better estimators than $\ell_1$-norm approaches and also allow one to utilize affine sparsity priors. In addition, the parameters of the model and the resulting estimators are easily interpretable. Experiments with a tailored Lagrangian decomposition method indicate that the proposed iterative convex relaxations ev{yield solutions within 1\% of the exact $\ell_0$ approach, and can tackle instances with up to 100,000 variables under one minute.

研究の動機と目的

• 非凸なℓ₀ベースの信号推定とその凸なℓ₁緩和法の間のギャップを埋める。
• 標準的なℓ₁緩和法よりも精度の高いスパarsity（ℓ₀-ノルム）とスムージング制約を同時にモデル化する凸最適化フレームワークを開発する。
• ℓ₁ベースのアプローチでは自然にサポートされないアフィンスパースプライアを信号推定に活用できるようにする。
• 真のℓ₀問題によりよく近似するより強い凸緩和法を構築することで、解の品質と解釈可能性を向上させる。
• 100,000変数までの大規模インスタンスを1分未満で解ける効率的なアルゴリズムを設計する。

提案手法

• スパースかつスムージングされた信号推定を、スパarsityとスムージングを直接捉えるℓ₀-ノルム制約付きの二次最適化問題として定式化する。
• スムージング関数と適合性関数を組み込むことで、ℓ₀-ノルムの近似をタイトにする、円錐二次緩和を用いた反復的凸化アプローチを導入する。
• 大規模凸問題を効率的に解くために、特化したラグランジュ分解法を採用する。
• 反復的精錬を用いて凸緩和を段階的に改善し、ℓ₀問題とその凸代替問題との間の双対ギャップを縮小する。
• スパースプライアを最適化モデルに直接埋め込むことで、アフィンスパースプライアを統合し、柔軟性と解釈可能性を向上させる。
• 凸円錐プログラミング構造を活用することで計算効率を維持し、大規模インスタンスの高速解法を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的なℓ₁緩和法よりも、非凸なℓ₀-ノルム問題をより正確に近似できる凸緩和フレームワークを設計できるか？
• RQ2 スムージングとスパarsityプライアを、解の品質を向上させる凸最適化フレームワーク内でどのように同時にモデル化できるか？
• RQ3 実際の問題において、反復的凸化はℓ₀とℓ₁解のギャップをどの程度縮小できるか？
• RQ4 提案手法は、大規模問題（例：100,000変数）を1分未満で効率的に処理しながら、高い解の正確性を維持できるか？
• RQ5 アフィンスパースプライアは、凸最適化フレームワークに効果的に統合できるか？

主な発見

• 提案された反復的凸円錐緩和法は、大規模信号推定問題において、正確なℓ₀解の1%以内の解を得た。
• 本手法は、100,000変数に達するインスタンスを、特化したラグランジュ分解法を用いて1分未満で解ける。
• 本手法は、真のℓ₀挙動をよりよく捉えるタイトな緩和法を提供するため、標準的なℓ₁ベースの手法を著しく上回る。
• スパarsityとスムージング構造を明示的に組み込んでいるため、モデルのパラメータと得られた推定器は容易に解釈できる。
• 従来のℓ₁正則化形式では自然に扱えないアフィンスパースプライアをフレームワークがサポートする。
• 反復的凸化プロセスは、ℓ₀とℓ₁緩和法のギャップを効果的に縮小し、近似的に最適なℓ₀解への実用的道筋を提供する。