[論文レビュー] Structured Matrix Recovery via the Generalized Dantzig Selector

Sheng Chen, Arindam Banerjee|arXiv (Cornell University)|Apr 12, 2016

Sparse and Compressive Sensing Techniques参考文献 29被引用数 5

ひとこと要約

本稿は、サブガウス型測定下における一般化Dantzig選択子を用いた構造的行列回復の一般枠組みを提示し、真の行列の構造に関する幾何的測度を用いて非漸近的誤差境界を提供する。ユニタリ不変ノルム（トレースノルムおよびスペクトルk-サポートノルムを含む）に対する回復保証を確立し、既存の結果と同等またはそれ以上の誤差レートを達成する。

ABSTRACT

In recent years, structured matrix recovery problems have gained considerable attention for its real world applications, such as recommender systems and computer vision. Much of the existing work has focused on matrices with low-rank structure, and limited progress has been made matrices with other types of structure. In this paper we present non-asymptotic analysis for estimation of generally structured matrices via the generalized Dantzig selector under generic sub-Gaussian measurements. We show that the estimation error can always be succinctly expressed in terms of a few geometric measures of suitable sets which only depend on the structure of the underlying true matrix. In addition, we derive the general bounds on these geometric measures for structures characterized by unitarily invariant norms, which is a large family covering most matrix norms of practical interest. Examples are provided to illustrate the utility of our theoretical development.

研究の動機と目的

• 低ランク行列を超える構造的行列回復のための統一的理論枠組みの構築。
• 一般的なサブガウス型測定モデル下での一般化Dantzig選択子の推定誤差の分析。
• ガウス幅や制限付き適合性定数などの幾何的測度を用いた回復誤差の特徴付け。
• ユニタリ不変ノルムに対してこれらの幾何的測度の一般上界を導出。実用的行列ノルムをカバーする。
• 低ランクおよびk-サポートノルム行列などの特定構造に対する高確率的回復誤差境界の確立。

提案手法

• 任意のノルム $ R(\theta) $ 及びその双対 $ R^*(\cdot) $ を用いた一般化Dantzig選択子最適化問題として構造的行列回復を定式化。
• 制限付き強い凸性（RSC）およびチューニングパラメータ $ \lambda_n $ に関する条件を用いて決定的誤差境界を導出。
• 一般化チェイニングおよびガウス幅を用いて真の行列構造に関連する集合の複雑さを特徴付ける。
• ユニタリ不変ノルムを有する行列に対して、幾何的測度（ガウス幅、制限付き適合性定数）の一般上界を導出。
• トレースノルムおよびスペクトル $k$-サポートノルムといった特定ノルムにこの枠組みを適用し、明示的な誤差境界を導出。
• サブガウス型 $ X_i $ 及びノイズ $ \omega_i $ の下で高確率的回復保証を確立。集中不等式に依存する。

実験結果

リサーチクエスチョン

• RQ1 一般化Dantzig選択子は、サブガウス型測定下で構造的行列に対して非漸近的回復保証を提供できるか？
• RQ2 ガウス幅や制限付き適合性定数などの幾何的測度は、一般の行列構造に対してどのように上界を付与できるか？
• RQ3 トレースノルムやスペクトル $k$-サポートノルムなどのユニタリ不変ノルムを用いた構造的行列の推定誤差レートは何か？
• RQ4 導出された境界は、行列補完や低ランク回復分野における既存結果と比較してどうなるか？
• RQ5 この枠組みは、低ランクでない構造（例：$k$-サポートノルム行列）に対しても理論的保証を伴って適用可能か？

主な発見

• ランク $ r $ の低ランク行列に対して、トレースノルムを用いた回復誤差は、$ n = O(r(d+p-r)) $ のとき、高確率的に $ \|\hat{\Theta}-\Theta^*\|_F \leq O\left(\sqrt{\frac{rd}{n}} + \sqrt{\frac{rp}{n}}\right) $ を満たす。
• スペクトル $k$-サポートノルムは、同じ誤差レート $ \|\hat{\Theta}-\Theta^*\|_F \leq O\left(\sqrt{\frac{rd}{n}} + \sqrt{\frac{rp}{n}}\right) $ を達成し、文献において初めての結果である。
• 回復誤差はガウス幅の接続錐および制限付き適合性定数といった幾何的測度で表現されており、ノルム間の統一的解析を可能にする。
• ユニタリ不変ノルムに対して、ガウス幅および制限付き適合性定数の一般上界が導出され、広範な行列ノルムクラスへの応用を容易にする。
• この枠組みは低ランク行列にとどまらず、一般化Dantzig選択子設定下でスペクトル $k$-サポートノルムに対する初めての非漸近的解析を提供する。
• サブガウス型測定およびノイズの下でも解析が成立し、集中不等式および一般化チェイニングに依拠した高確率的保証が得られる。