[論文レビュー] Robustness to unknown error in sparse regularization

Simone Brugiapaglia, Ben Adcock|arXiv (Cornell University)|May 29, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用数 3

ひとこと要約

本稿は、ノイズレベルの事前知識を要しない圧縮センシングにおける2次的制約付き基底 pursuit (QCBP) のロバスト性保証を確立する。商とロバストインスタンス最適性に基づく抽象的枠組みを導入することで、著者らはランダムなガウス行列および重尾行列（有界正規直交系からのものも含む）において、未知の誤差のもとでも QCBP が安定かつロバストであることを証明した。明示的な誤差バウンドは $\mathcal{O}(\sqrt{m/N})$ のスケーリングを示し、実務と既存の解析との間の重要な理論的ギャップを解消した。

ABSTRACT

Quadratically-constrained basis pursuit has become a popular device in sparse regularization; in particular, in the context of compressed sensing. However, the majority of theoretical error estimates for this regularizer assume an a priori bound on the noise level, which is usually lacking in practice. In this paper, we develop stability and robustness estimates which remove this assumption. First, we introduce an abstract framework and show that robust instance optimality of any decoder in the noise-aware setting implies stability and robustness in the noise-blind setting. This is based on certain sup-inf constants referred to as quotients, strictly related to the quotient property of compressed sensing. We then apply this theory to prove the robustness of quadratically-constrained basis pursuit under unknown error in the cases of random Gaussian matrices and of random matrices with heavy-tailed rows, such as random sampling matrices from bounded orthonormal systems. We illustrate our results in several cases of practical importance, including subsampled Fourier measurements and recovery of sparse polynomial expansions.

研究の動機と目的

• QCBP の実務的ロバスト性と、ノイズレベルが既知であると仮定する既存の解析との間の理論的ギャップを埋めること。
• 事前誤差バウンドが得られない状況におけるスパース復元の安定性とロバスト性を分析する一般枠組みを構築すること。
• ランダムなガウス行列および重尾行列における未知誤差下での QCBP の定量的誤差バウンドを確立すること。
• 部分的フーリエ測定やスパース多項式回復といった実用的状況での理論の妥当性を検証すること。

提案手法

• ノイズあり設定におけるロバストインスタンス最適性とノイズ無し設定における安定性・ロバスト性を、sup-inf 定数（商）を介して結ぶ抽象的枠組みを導入する。
• 制限的等長性を一般化する「商性質」を定義・分析し、ロバスト性解析の中心的役割を果たすものとする。
• この枠組みをランダムなガウス行列および重尾行を有する行列（例えば、有界正規直交系からのもの）に適用する。
• 濃度不等式と尾部バウンドを用いて、正規化されたクリスティオフェル関数が 1 から逸脱する度合を制御し、歪みが有界であることを保証する。
• 未知誤差下での QCBP の明示的誤差バウンドを導出し、$m \ll N$ の場合に $\mathcal{O}(\sqrt{m/N})$ のスケーリングで減少することを示す。
• 和集合バウンドと正弦の逆関数に基づく推定を用いて、ランダム行列の行ノルムにおける大きな逸脱の確率を制御する。

実験結果

リサーチクエスチョン

• RQ1 圧縮センシングにおいて、ノイズレベルの既知のバウンドを仮定しないで QCBP のロバスト性を保証できるか？
• RQ2 商と商性質は、ノイズ無し設定におけるスパース復元の安定性とどのように関係するか？
• RQ3 フーリエサンプリングのような状況で、測定行列の行が重尾を持つ場合に QCBP に対して導ける誤差バウンドは何か？
• RQ4 未知誤差下で、測定数 $m$ と信号次元 $N$ が増加するに従い、QCBP の性能はどのようにスケーリングするか？
• RQ5 この理論的枠組みは、部分的フーリエ測定やスパース多項式展開といった実用的状況に適用可能か？

主な発見

• 本稿は、ノイズあり設定におけるロバストインスタンス最適性が、商に基づく解析によってノイズ無し設定における安定性とロバスト性を示すことを証明した。
• ランダムなガウス行列では、未知誤差下でも QCBP が $\mathcal{O}(\sqrt{m/N})$ の誤差バウンドでロバストな復元を達成する。
• 有界正規直交系からのものも含む重尾行を有する行列に対しても、同様に $\mathcal{O}(\sqrt{m/N})$ の誤差減少が確立された。
• 歪み項 $\xi$ に対する明示的バウンドを導出し、$N$ と $m$ に関する適切な条件下で $\xi \leq 9m\sqrt{\varepsilon/\pi}$ が成り立つことを示した。
• 部分的フーリエ測定やスパース多項式回復といった実用的状況にもこの枠組みが適用可能であり、数値結果により $\|\mathbf{e}\|_2$ が未知であってもロバスト性が確認された。
• 解析により、復元誤差が有界であり、$m$ が増加するに従い減少することが示された。これは、事前にノイズレベルが不明であっても成り立つ。