[論文レビュー] A Theoretical Analysis of Sparse Recovery Stability of Dantzig Selector and LASSO

Yun-Bin Zhao, Duan Li|arXiv (Cornell University)|Nov 10, 2017

Sparse and Compressive Sensing Techniques参考文献 43被引用数 3

ひとこと要約

本稿は、Dantzig SelectorおよびLASSOのスパース回復安定性について、従来のRIPやNSPのような条件よりも制限が少ない、新しい弱範囲空間性質の仮定を用いて、決定論的理論的分析を提供する。この仮定は、Robinson定数で測定された安定性係数を用いて、統一された回復誤差境界を確立し、標準Dantzig Selectorの安定性に対して、この仮定が十分かつ必要であることを証明する。

ABSTRACT

Dantzig selector (DS) and LASSO problems have attracted plenty of attention in statistical learning, sparse data recovery and mathematical optimization. In this paper, we provide a theoretical analysis of the sparse recovery stability of these optimization problems in more general settings and from a new perspective. We establish recovery error bounds for these optimization problems under a mild assumption called weak range space property of a transposed design matrix. This assumption is less restrictive than the well known sparse recovery conditions such as restricted isometry property (RIP), null space property (NSP) or mutual coherence. In fact, our analysis indicates that this assumption is tight and cannot be relaxed for the standard DS problems in order to maintain their sparse recovery stability. As a result, a series of new stability results for DS and LASSO have been established under various matrix properties, including the RIP with constant $δ_{2k}< 1/\sqrt{2}$ and the (constant-free) standard NSP of order $k.$ We prove that these matrix properties can yield an identical recovery error bound for DS and LASSO with stability coefficients being measured by the so-called Robinson's constant, instead of the conventional RIP or NSP constant. To our knowledge, this is the first time that the stability results with such a unified feature are established for DS and LASSO problems. Different from the standard analysis in this area of research, our analysis is carried out deterministically, and the key analytic tools used in our analysis include the error bound of linear systems due to Hoffman and Robinson and polytope approximation of symmetric convex bodies due to Barvinok.

研究の動機と目的

• Dantzig SelectorおよびLASSOのスパース回復安定性を分析するより一般的で制限の少ない理論的枠組みを構築すること。
• 制限的性質である制限等長性（RIP）やノルム空間性（NSP）の代わりに、より穏やかで自然な仮定である、転置設計行列の弱範囲空間性質を導入すること。
• Dantzig SelectorおよびLASSOの安定性分析を、決定論的誤差境界を用いた単一の理論的枠組みで統一すること。
• 提案された弱範囲空間性質が、標準Dantzig Selectorの安定性に対して、十分かつ必要であることを確立すること。
• 安定性係数をRobinson定数を用いて表現することで、データ依存的で定数に依存しない安定性の測度を提供すること。

提案手法

• 線形システムのHoffmanの誤差境界に基づく決定論的アプローチを用いて、解の安定性を分析する。
• 対称な凸体のBarvinokの多面体近似技術を応用し、最適化問題における幾何的構造を扱う。
• 凸最適化の最適性条件から導かれる、弱範囲空間性質を基本仮定として導入する。
• 双対性とノルムに基づく推定を用いて、共役ノルムおよび双対ノルムの関係を活用し、回復誤差境界を導出する。
• ℓ1ノルムの誤差、スパース性促進項σk(x)₁、およびパラメータμを含む不等式連鎖を通じて、安定性境界を確立する。
• 実行可能集合への射影作用素を用い、集合間のHausdorff距離を活用して、解のずれをバインドする。

実験結果

リサーチクエスチョン

• RQ1 RIP、NSP、相互コherenceよりも制限が少ない仮定の下で、Dantzig SelectorおよびLASSOのスパース回復安定性を確立できるか？
• RQ2 転置設計行列の弱範囲空間性質は、標準Dantzig Selector問題におけるスパース回復の安定性に対して、十分かつ必要であるか？
• RQ3 Dantzig SelectorおよびLASSOの両者を統一した安定性枠組みで分析でき、同一種類の安定性係数を用いることができるか？
• RQ4 RIPやNSP定数ではなく、Robinson定数で測定した場合、Dantzig SelectorおよびLASSOの安定性境界はどのように比較できるか？
• RQ5 パラメータμは、特にℓ1ノルム制約との関係において、LASSO解の安定性をどのように制御するか？

主な発見

• 弱範囲空間性質は、スパース回復における標準Dantzig Selectorの安定性に対して、十分かつ必要条件である。
• この仮定の下で、Dantzig SelectorおよびLASSOの両方の回復誤差境界が確立され、安定性係数はRobinson定数で測定される。
• 本稿は、δ₂ₖ < 1/√2 であるRIPおよび順序kの標準NSPが、弱範囲空間性質を含意することを証明しており、これにより安定性が保証される。
• Dantzig SelectorおよびLASSOの両者において、同じ行列仮定の下で、誤差表現が同一である統一された安定性境界が得られる。
• LASSOにおいて、解がℓ1球の境界上にある（‖x‖₁ = μ）場合、誤差境界は‖x − x*‖₂ ≤ δ + 4γ̂[φ(Mᵀ(Ax−y)) + σₖ(x)₁/c] と表され、δはHausdorff距離、cは定数である。
• 解析は完全に決定論的であり、確率的仮定を回避しており、標準的な圧縮センシング手法よりも強い理論的保証を提供する。