[論文レビュー] Sharp recovery bounds for convex demixing, with applications

Michael B. McCoy, Joel A. Tropp|arXiv (Cornell University)|May 8, 2012

Sparse and Compressive Sensing Techniques参考文献 73被引用数 9

ひとこと要約

本論文は、非共通性を有する2つの構造的信号（例：スパースおよび低ランク成分）を分離するための凸最適化フレームワークを提案する。スパース性と低ランク性の両方の信号の合計複雑度にのみ依存する、情報理論的に最適な回復境界を確立し、スパース同士の分解やロバスト行列回復などの応用において検証されている。

ABSTRACT

Demixing refers to the challenge of identifying two structured signals given only the sum of the two signals and prior information about their structures. Examples include the problem of separating a signal that is sparse with respect to one basis from a signal that is sparse with respect to a second basis, and the problem of decomposing an observed matrix into a low-rank matrix plus a sparse matrix. This paper describes and analyzes a framework, based on convex optimization, for solving these demixing problems, and many others. This work introduces a randomized signal model which ensures that the two structures are incoherent, i.e., generically oriented. For an observation from this model, this approach identifies a summary statistic that reflects the complexity of a particular signal. The difficulty of separating two structured, incoherent signals depends only on the total complexity of the two structures. Some applications include (i) demixing two signals that are sparse in mutually incoherent bases; (ii) decoding spread-spectrum transmissions in the presence of impulsive errors; and (iii) removing sparse corruptions from a low-rank matrix. In each case, the theoretical analysis of the convex demixing method closely matches its empirical behavior.

研究の動機と目的

• 2つの構造的信号が異なる基底や構造において非共通性を有する場合に、それらの和から信号を分離する一般化された凸最適化フレームワークの構築。
• 凸分離法が成功する明確な理論的条件の確立。これは2つの信号の合計複雑度に基づく。
• 信号構造が一般に非共通性を示す高次元確率的モデルにおける回復性能の分析。
• 形態的成分分析やロバスト行列分解を含む多様な応用において、理論的境界を実証的に検証すること。
• 実際の分離タスクにおける経験的挙動と一致する鋭い回復閾値の導出。

提案手法

• 観測信号と一致する線形制約の下で、2つの原子ノルム（例：ℓ₁ノルムおよび核ノルム）の和を最小化する凸最適化問題として分離問題を定式化する。
• 2つの信号構造が非共通性を有する確率的信号モデルを導入し、一様にランダムな直交行列によってモデル化することで、一般な向きを保証する。
• 積分幾何学および確率的行列理論のツール、特に球面内挿的体積を用いて、ランダム部分空間が自明に交差する確率を特徴付ける。
• ゴードンのガウス過程不等式を適用し、線形逆問題における失敗確率の上限を、可能領域錐の幅に関連付ける。
• 可能領域錐の球面内挿的体積の減衰を分析することで鋭い回復閾値を導出し、合計信号複雑度が臨界閾値未満である場合に回復が成功することを示す。
• 非共通性のもとで、回復閾値が2つの信号の個々の構造に依存せず、合計複雑度にのみ依存することを確立する。

実験結果

リサーチクエスチョン

• RQ1 スパース性と低ランク性などの非共通構造を持つ2つの信号が、凸最適化によってどのようにして成功裏に分離可能か。
• RQ2 2つの信号の合計複雑度が、成功した回復に必要な最小測定数にどのように影響するか。
• RQ3 形態的成分分析のような実用的分離タスクにおいて、経験的挙動と一致する鋭い理論的回復境界を導出可能か。
• RQ4 信号構造間の非共通性が、凸法による正確な回復を可能にする役割は何か。
• RQ5 確率的行列モデルおよび幾何確率のツール（例：球面内挿的体積）が、分離可能性の精密分析をどのように可能にするか。

主な発見

• 合計信号複雑度（スパース性とランクパラメータの和として測定）が、環境次元に依存する臨界閾値未満である場合、凸分離法は高確率で成功する。
• 測定数が $ n o heta d $ を満たし、$ heta < heta_{ ext{crit}} $ である場合に回復が保証され、ここで $ heta_{ ext{crit}} $ はスパース性およびランクパラメータに依存する。
• 理論的回復閾値は、2つの非共通基底にスパースな信号の分離や、スパース誤差によって汚染された低ランク行列の回復といった実応用における経験的挙動と一致する。
• ランダム直交行列 $ m{Q} $ に対して、合計複雑度が閾値未満である限り、分離における失敗確率は次元 $ d $ と共に指数関数的に減少する。
• この方法は、情報理論的に最適な回復境界を達成しており、同様の非共通性仮定のもとでは、他のいかなる手法よりも少ない測定数で成功できない。
• 解析により、非共通性のもとで、分離の難易度が2つの信号の個々の構造に依存せず、合計複雑度にのみ依存することが示された。