[論文レビュー] Sum-of-Squares Certificates for Maxima of Random Tensors on the Sphere

Vijay Bhattiprolu, Venkatesan Guruswami+1 more|arXiv (Cornell University)|May 3, 2016

Complexity and Algorithms in Graphs参考文献 16被引用数 14

ひとこと要約

この論文は、ランダムなテンソルが単位球面上でとる最大値の上界を証明するための和の平方（SoS）階層について研究している。q次SoSは、ランダムなq次テンソルに対して、真の最大値から因子 (n/q)^{q/4 - 1/2} の範囲内でタイトな証明上界を提供することを示しており、先行研究を改善し、下位の項を除いて最良の性能に一致する。

ABSTRACT

For an $n$-variate order-$d$ tensor $A$, define $ A_{\max} := \sup_{\| x \|_2 = 1} \langle A , x^{\otimes d} angle$ to be the maximum value taken by the tensor on the unit sphere. It is known that for a random tensor with i.i.d $\pm 1$ entries, $A_{\max} \lesssim \sqrt{n\cdot d\cdot\log d}$ w.h.p. We study the problem of efficiently certifying upper bounds on $A_{\max}$ via the natural relaxation from the Sum of Squares (SoS) hierarchy. Our results include: - When $A$ is a random order-$q$ tensor, we prove that $q$ levels of SoS certifies an upper bound $B$ on $A_{\max}$ that satisfies \[ B ~~~~\leq~~ A_{\max} \cdot \biggl(\frac{n}{q^{\,1-o(1)}}\biggr)^{q/4-1/2} \quad ext{w.h.p.} \] Our upper bound improves a result of Montanari and Richard (NIPS 2014) when $q$ is large. - We show the above bound is the best possible up to lower order terms, namely the optimum of the level-$q$ SoS relaxation is at least \[ A_{\max} \cdot \biggl(\frac{n}{q^{\,1+o(1)}}\biggr)^{q/4-1/2} \ . \] - When $A$ is a random order-$d$ tensor, we prove that $q$ levels of SoS certifies an upper bound $B$ on $A_{\max}$ that satisfies \[ B ~~\leq ~~ A_{\max} \cdot \biggl(\frac{\widetilde{O}(n)}{q}\biggr)^{d/4 - 1/2} \quad ext{w.h.p.} \] For growing $q$, this improves upon the bound certified by constant levels of SoS. This answers in part, a question posed by Hopkins, Shi, and Steurer (COLT 2015), who established the tight characterization for constant levels of SoS.

研究の動機と目的

• ランダムなテンソルが単位球面上でとる最大値の上界を証明する際の和の平方（SoS）階層の性能を理解すること。
• より高次のSoS緩和を用いて、ランダムテンソルの最大値を証明する既存の境界を改善すること。
• ランダムなq次テンソルに対してq次SoSが達成可能な最良の近似保証を特定すること。
• ホプキンズ、シ、シュタイュアー（COLT 2015）が提起した、成長するレベルにおけるSoS証明のタイトネスに関する疑問に答えること。
• q次SoS緩和がランダムテンソルの最大値を証明する際、実行時間と近似品質の最良のトレードオフを達成することを確立すること。

提案手法

• 単位球面上でのテンソルの最大化問題をq次パラメータ化された系列の半定値計画問題に緩和するため、和の平方（SoS）階層を用いる。
• q次SoS緩和を解析する際、次数qまでの多項式における関連するモーメント行列と擬似期待値を検討する。
• トレース法を適用して、テンソル成分から導かれるランダム行列のスペクトルノルムを評価し、モーメント計算と非ゼロ期待値の組み合わせ的数え上げを活用する。
• テンソル積の多重線形分解を用い、期待値に寄与する構成を数えるために組み合わせ的議論を適用する。
• 次数制約と多重度条件を用いて、非ゼロモーメントに寄与する有効なインデックス構成の数を解析することで、SoS緩和値の上界を導出する。
• 集中不等式とマルコフの不等式を用いて、構築された行列のスペクトルノルムが高確率で有界であることを示し、タイトな証明上界に至る。

実験結果

リサーチクエスチョン

• RQ1 q次SoS階層を用いて、効率的に証明可能なランダムテンソルの単位球面上での最大値の最良の上界は何か？
• RQ2 q次SoS緩和の性能は、qが増加する際の真の最大値と比べてどのように異なるか？
• RQ3 ランダムなq次テンソルに対して、SoS階層は下位の項を除いて最適な証明上界を達成できるか？
• RQ4 qが大きくなる領域において、q次SoS緩和は定数次SoSの境界を改善するか、特にqが大きくなる場合にその改善が顕著か？
• RQ5 q次SoS緩和は、ランダムテンソルの最大値を証明する際、最もタイトな境界を達成するか、それ以上の高いレベルでより良い境界が得られるか？

主な発見

• i.i.d. ±1 成分をもつランダムなq次テンソルに対して、q次SoS緩和は高確率で、B ≤ 𝒜_max · (n / q^{1−o(1)})^{q/4 − 1/2} を満たす上界Bを証明する。
• この境界は、qが大きい場合にモンタナリとリチャード（NIPS 2014）の結果を改善し、よりタイトな近似保証を提供する。
• q次SoS緩和は、下位の項を除いて最適な境界を達成しており、q次緩和の最適値が 𝒜_max · (n / q^{1+o(1)})^{q/4 − 1/2} 以上であることが示されている。
• ランダムなd次テンソルに対して、q次SoS緩和は高確率で、B ≤ 𝒜_max · (Õ(n)/q)^{d/4 − 1/2} を満たす上界Bを証明する。これは、qが増加する際の定数次SoSを改善する。
• この論文は、ホプキンズ、シ、シュタイュアー（COLT 2015）が提起した疑問に答え、ランダムテンソルに対してSoS階層が下位の因子を除いて最良の証明上界を達成することを示した。
• 解析により、SoS階層が、ランダムテンソルの球面上での最大値を証明する際、実行時間（n^{O(q)}）と近似品質の間で、これまでに得られた最良のトレードオフを提供することが確立された。