[論文レビュー] Exact tensor completion with sum-of-squares

Aaron Potechin, David Steurer|arXiv (Cornell University)|Feb 21, 2017

Tensor decomposition and applications参考文献 1被引用数 22

ひとこと要約

この論文は、行列補完への還元によって得られる従来の $ r \cdot \tilde{O}(n^2) $ の境界を改善し、3次テンソルの正確な補完を多項式時間で行う最初のアルゴリズムを提示する。この手法は、球面上の4次多項式の和の平方（sum-of-squares）による証明を用い、$ r $ 個の非整合性が高く、直交する成分をもつ3次テンソルの正確な回復を、ランダムに観測された $ r \cdot \tilde{O}(n^{1.5}) $ 個のエントリから達成する。

ABSTRACT

We obtain the first polynomial-time algorithm for exact tensor completion that improves over the bound implied by reduction to matrix completion. The algorithm recovers an unknown 3-tensor with $r$ incoherent, orthogonal components in $\mathbb R^n$ from $r\cdot ilde O(n^{1.5})$ randomly observed entries of the tensor. This bound improves over the previous best one of $r\cdot ilde O(n^{2})$ by reduction to exact matrix completion. Our bound also matches the best known results for the easier problem of approximate tensor completion (Barak & Moitra, 2015). Our algorithm and analysis extends seminal results for exact matrix completion (Candes & Recht, 2009) to the tensor setting via the sum-of-squares method. The main technical challenge is to show that a small number of randomly chosen monomials are enough to construct a degree-3 polynomial with precisely planted orthogonal global optima over the sphere and that this fact can be certified within the sum-of-squares proof system.

研究の動機と目的

• 行列補完への還元によって示唆されるサンプル複雑度の境界を上回る、正確なテンソル補完の多項式時間アルゴリズムの開発。
• 従来、行列補完で成功した和の平方法を、正確な回復を目的としたテンソル設定に拡張すること。
• 球面上に正確に埋め込まれた直交するグローバル最適解をもつ3次多項式を構築し、低次の和の平方証明を用いてその証明を行うこと。
• 近似テンソル補完の最良の既知の結果と同等のサンプル複雑度を達成すること。これは、正確な回復がより困難であるにもかかわらず成り立つ。
• $ r \cdot \tilde{O}(n^{1.5}) $ 個のランダムに選ばれたエントリが、非整合性が高く直交する成分をもつ3次テンソルの正確な回復に十分であることを確立すること。

提案手法

• 和の平方（SOS）証明システムを活用し、少数の観測エントリから3次テンソルの正確な回復を検証する証明を構築する。
• 球面上の4次多項式を構築し、そのグローバル最適解がテンソルの非整合性が高く直交する成分に正確に対応するようにする。
• テンソル成分を $ u_i, v_i, w_i $ のベクトルの積に新しい方法で分解し、共有インデックスの和を取ることでグローバルな整合性を強制し、$ r $ の要因を導出する。
• 行列表現のスペクトルノルムを、交差パターンとランダムな分割を用いて、トレースモーメント法によりバインドする。
• ハイパーグラフ構造によって分解された行列ブロック $ Y_j $ の再帰的トレースパワー計算を適用し、モーメントの成長を制御する。
• 鍵となるテクニックとして、外側の三角形インデックスの和を取ることで、各成分間でのグローバルインデックスの整合性を強制し、自由変数の数を減らし、よりタイトなノルムバインドを可能にする。

実験結果

リサーチクエスチョン

• RQ1 行列補完への還元によって得られる $ r \cdot \tilde{O}(n^2) $ の境界を下回るサンプル複雑度で、正確なテンソル補完が達成可能か。
• RQ2 非整合性が高く直交する成分をもつ3次テンソルの正確な回復を、和の平方法で証明可能か。
• RQ3 多項式時間アルゴリズムを用いて、3次テンソルの正確な回復を保証するための最小サンプル数は何か。
• RQ4 4次和の平方証明を効率的に構築・検証でき、テンソル設定における正確な回復を保証できるか。
• RQ5 提案手法が、近似テンソル補完の最良の既知の境界と同等のサンプル複雑度を達成するか。

主な発見

• アルゴリズムは、$ r $ 個の非整合性が高く直交する成分をもつ3次テンソルを、$ r \cdot \tilde{O}(n^{1.5}) $ 個のランダムに観測されたエントリから正確に回復する。
• このサンプル複雑度は、従来の行列還元によって得られた $ r \cdot \tilde{O}(n^2) $ の境界を改善している。
• 近似テンソル補完の最良の既知の結果と同等のサンプル効率を達成しており、正確な回復が同等の効率で可能であることを示している。
• 和の平方法は、球面上に正確に埋め込まれたグローバル最適解をもつ4次多項式を構築することで、正確な回復の証明に成功した。
• 解析により、新しいサンプリング設定下で、行列表現の期待トレースパワーが十分に速く減少することが示され、タイトなスペクトルノルムバインドが可能になった。
• この手法により、与えられた仮定の下で、多項式時間アルゴリズムとして必要なサンプル数が対数要因を除いて最適であることが確立された。