[論文レビュー] Simultaneously Structured Models with Application to Sparse and Low-rank Matrices

Samet Oymak, Amin Jalali+3 more|arXiv (Cornell University)|Dec 16, 2012

Sparse and Compressive Sensing Techniques参考文献 67被引用数 16

ひとこと要約

本稿では、同時にスパースかつ低ランクである行列の回復を検討し、ℓ₁ノルムとノルムの組み合わせである標準的な凸緩和手法が、共同構造を十分に活用できず、理論的最小値よりも順序的に多くの測定値を必要とすることを示している。非凸的手法と凸的手法の間には根本的なギャップがあることが証明され、非凸形式は、自由度と一致する𝒪(rk)の測定値からの回復が可能であるのに対し、凸手法はΩ(min{k², rn})の測定値を必要とする。

ABSTRACT

The topic of recovery of a structured model given a small number of linear observations has been well-studied in recent years. Examples include recovering sparse or group-sparse vectors, low-rank matrices, and the sum of sparse and low-rank matrices, among others. In various applications in signal processing and machine learning, the model of interest is known to be structured in several ways at the same time, for example, a matrix that is simultaneously sparse and low-rank. Often norms that promote each individual structure are known, and allow for recovery using an order-wise optimal number of measurements (e.g., $\ell_1$ norm for sparsity, nuclear norm for matrix rank). Hence, it is reasonable to minimize a combination of such norms. We show that, surprisingly, if we use multi-objective optimization with these norms, then we can do no better, order-wise, than an algorithm that exploits only one of the present structures. This result suggests that to fully exploit the multiple structures, we need an entirely new convex relaxation, i.e. not one that is a function of the convex relaxations used for each structure. We then specialize our results to the case of sparse and low-rank matrices. We show that a nonconvex formulation of the problem can recover the model from very few measurements, which is on the order of the degrees of freedom of the matrix, whereas the convex problem obtained from a combination of the $\ell_1$ and nuclear norms requires many more measurements. This proves an order-wise gap between the performance of the convex and nonconvex recovery problems in this case. Our framework applies to arbitrary structure-inducing norms as well as to a wide range of measurement ensembles. This allows us to give performance bounds for problems such as sparse phase retrieval and low-rank tensor completion.

研究の動機と目的

• スパース性と低ランク性といった複数の同時構造を持つ信号の回復における凸最適化の根本的限界を理解すること。
• 複数の構造（例：ℓ₁ノルムとノルム）を組み合わせた標準的なノルムを用いることで、最適な測定複雑度が達成されるかを調査すること。
• 複数目的凸緩和を用いた成功した回復に必要な測定数の理論的下界を確立すること。
• 複数の構造が共存する場合、個々の構造促進ノルムの凸結合では最適なサンプル複雑度に到達できないことを示すこと。
• 行列補完やガウス測定を含む多様な測定集合に適用可能なフレームワークを提案すること。

提案手法

• 構造的アトムの凸包とアトムノルムを用いて、複数の同時構造を持つ信号をモデル化する一般化されたフレームワークを提案する。
• 個々の構造誘導ノルム（例：スパース性のためのℓ₁ノルム、低ランク性のためのノルム）の組み合わせを用いた多目的凸最適化の性能を分析する。
• このような凸緩和による成功した回復に必要な測定数の下界を導出し、単一の構造にのみ依存する場合と順序的に同程度であることを示す。
• 共同構造を活用する非凸形式を導入し、𝒪(rk)の測定値から行列を回復できることを証明する。自由度と一致する。
• サブサンプルされた標準基底（行列補完）、ガウス分布、サブガウス分布、および二次測定を含む多様な測定集合にフレームワークを適用する。
• 双対性と幾何的議論を用いて、多目的問題のパレートフロントを特徴付け、ノルムの組み合わせでは共同構造が捉えられないことを示す。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁ノルムとノルムの凸結合による最適化は、同時にスパースかつ低ランクである行列に対して最適なサンプル複雑度を達成できるか？
• RQ2 凸緩和を用いてスパースかつ低ランクな行列を回復するための、一般的な線形測定の最小数は何か？
• RQ3 凸形式と非凸形式の性能には、同時に構造を持つ行列の回復において根本的なギャップがあるか？
• RQ4 既存のノルムの組み合わせに依存するのではなく、複数の構造を完全に活用できる新しい凸緩和を構築できるか？
• RQ5 行列補完やガウス測定を含むさまざまな測定集合にわたり、結果はどのように一般化されるか？

主な発見

• ℓ₁ノルムとノルムの凸結合による回復に必要な測定数は、Ω(min{k², rn})で下界づけられ、これは単一の構造にのみ依存する場合と順序的に同程度である。
• 非凸形式は、自由度と一致する𝒪(rk)の測定値から、同時にスパースかつ低ランクな行列を回復できる。
• これにより、凸回復と非凸回復の間には順序的に大きなギャップが生じる：凸手法は情報理論的最小値よりも著しく多くの測定値を必要とする。
• このフレームワークは、行列補完、ガウス測定、サブガウス測定、二次測定を含む多様な測定集合に適用可能であり、それに応じた性能境界が導出される。
• 複数の構造を完全に活用するためには、既存のノルムの組み合わせではなく、新しい凸緩和が必要であることが示唆される。
• スパースかつ低ランクな行列回復問題において、ℓ₁ + ノルムを用いた凸アプローチはΩ(min{k², rn})の測定値を必要とし、真の自由度は𝒪(rk)であるため、根本的な非効率性が生じている。