[論文レビュー] Unified View of Matrix Completion under General Structural Constraints

Suriya Gunasekar, Arindam Banerjee+1 more|arXiv (Cornell University)|Mar 29, 2016

Sparse and Compressive Sensing Techniques参考文献 40被引用数 8

ひとこと要約

本稿では、任意のノルム正則化によって誘導される一般の低ランク構造的制約下における行列補完の統一的統計的分析を提示する。一般化されたチェイニングおよびガウス幅の道具を用いて、サンプル複雑度がグローバルなサブガウス型測定値に対して高々 log d 要因分だけ増加することを確立し、局所化された行列補完測定値における制限付き強い凸性（RSC）性質を証明する。

ABSTRACT

In this paper, we present a unified analysis of matrix completion under general low-dimensional structural constraints induced by {\em any} norm regularization. We consider two estimators for the general problem of structured matrix completion, and provide unified upper bounds on the sample complexity and the estimation error. Our analysis relies on results from generic chaining, and we establish two intermediate results of independent interest: (a) in characterizing the size or complexity of low dimensional subsets in high dimensional ambient space, a certain partial complexity measure encountered in the analysis of matrix completion problems is characterized in terms of a well understood complexity measure of Gaussian widths, and (b) it is shown that a form of restricted strong convexity holds for matrix completion problems under general norm regularization. Further, we provide several non-trivial examples of structures included in our framework, notably the recently proposed spectral $k$-support norm.

研究の動機と目的

• 低ランクや分解可能ノルムを超える、任意のノルム誘導型低次元構造における行列補完の課題に取り組む。
• 多様な構造的制約にわたるサンプル複雑度と推定誤差を分析する統一的理論枠組みを提供する。
• 既存のRIPに基づく解析の限界を乗り越え、行列補完の非常に局所化された測定モデルに適応する。
• 局所化された測定下における一般ノルム正則化のための制限付き強い凸性（RSC）条件を確立する。
• 使用するノルムにかかわらず、行列補完のサンプル複雑度がグローバルなサブガウス型測定値のものに対して高々 log d 要因分の超過に抑えられることを示す。

提案手法

• 一般ノルム正則化下で、制約付きノルム最小化子と一般化された行列ダントツ選手の2つの推定子を形式化する。
• ガウス幅を高次元のアーメント空間における誤差集合の幾何的複雑度の尺度として用いる。
• 一般化されたチェイニング技法（Talagrand, 2014）を適用して、構造的集合上での確率過程の期待上限を評価する。
• 誤差集合のガウス幅と測定複雑度との関係を用いて、サンプル複雑度と推定誤差の上界を導出する。
• 測定演算子の局所化されたサンプリング下で、経験過程の道具を用いて制限付き強い凸性（RSC）条件を証明する。
• ハイドレントスティスティクスの結果（例：Chandrasekaran et al., 2012; Banerjee et al., 2014）を活用して、より広範な回復理論に接続する。

実験結果

リサーチクエスチョン

• RQ1 任意のノルム正則化下における行列補完に対して、統一的なサンプル複雑度の上界を導出可能か？
• RQ2 行列補完の測定の局所化された性質は、グローバルなサブガウス型測定値と比較して、必要なサンプルサイズにどのような影響を及けるか？
• RQ3 一般ノルム正則化を伴う行列補完において、制限付き強い凸性（RSC）性質が成立するか？
• RQ4 ガウス幅は、行列補完における構造的誤差集合の複雑度をどの程度正確に特徴づけられるか？
• RQ5 本フレームワークは、スペクトルk-サポートノルムのような非分解可能ノルムを扱えるか？

主な発見

• 任意のノルム正則化下における行列補完のサンプル複雑度は、グローバルなサブガウス型測定値のものに対して高々 log d 要因分の上界を持つ。
• 行列補完において、高確率で制限付き強い凸性（RSC）性質が成立し、パラメータ κ_{c₀} ≈ 1 − o(1/√log d) により安定回復が保証される。
• 制約付きノルム最小化子および一般化されたダントツ選手の両方の推定誤差は、誤差集合のガウス幅と測定演算子の両方の尺度で上界が与えられる。
• 制約付きノルム最小化子は、高確率で ‖Δ_cn‖_F² / (d₁d₂) ≤ 4ξ² / κ_{c₀} の誤差上界を達成する。
• 一般化されたダントツ選手は、高確率で ‖Δ_ds‖_F² / (d₁d₂) ≤ (4λ_ds Ψ_R(T_R)) / (κ_{c₀}) × ‖Δ_ds‖_F / √(d₁d₂) の誤差上界を達成する。
• 本フレームワークは、スケアルk-サポートノルムのような非分解可能構造を特別なケースとして含み、核ノルムや分解可能ノルムに関する先行研究を拡張する。