[논문 리뷰] Sum-of-Squares Certificates for Maxima of Random Tensors on the Sphere

Vijay Bhattiprolu, Venkatesan Guruswami외 1명|arXiv (Cornell University)|2016. 05. 03.

Complexity and Algorithms in Graphs참고 문헌 16인용 수 14

한 줄 요약

이 논문은 랜덤 텐서가 단위 구면 위에서 최댓값을 갖는 것을 증명하기 위해 Sum-of-Squares (SoS) 계층을 연구한다. q-레벨 SoS는 랜덤 순서-q 텐서에 대해 진짜 최댓값과 (n/q)^{q/4 - 1/2} 요소의 요소로 정확한 증명 경계를 제공함을 보이며, 이는 이전 결과를 향상시키고 하위 항을 제외한 최상의 성능을 달성한다.

ABSTRACT

For an $n$-variate order-$d$ tensor $A$, define $ A_{\max} := \sup_{\| x \|_2 = 1} \langle A , x^{\otimes d} angle$ to be the maximum value taken by the tensor on the unit sphere. It is known that for a random tensor with i.i.d $\pm 1$ entries, $A_{\max} \lesssim \sqrt{n\cdot d\cdot\log d}$ w.h.p. We study the problem of efficiently certifying upper bounds on $A_{\max}$ via the natural relaxation from the Sum of Squares (SoS) hierarchy. Our results include: - When $A$ is a random order-$q$ tensor, we prove that $q$ levels of SoS certifies an upper bound $B$ on $A_{\max}$ that satisfies \[ B ~~~~\leq~~ A_{\max} \cdot \biggl(\frac{n}{q^{\,1-o(1)}}\biggr)^{q/4-1/2} \quad ext{w.h.p.} \] Our upper bound improves a result of Montanari and Richard (NIPS 2014) when $q$ is large. - We show the above bound is the best possible up to lower order terms, namely the optimum of the level-$q$ SoS relaxation is at least \[ A_{\max} \cdot \biggl(\frac{n}{q^{\,1+o(1)}}\biggr)^{q/4-1/2} \ . \] - When $A$ is a random order-$d$ tensor, we prove that $q$ levels of SoS certifies an upper bound $B$ on $A_{\max}$ that satisfies \[ B ~~\leq ~~ A_{\max} \cdot \biggl(\frac{\widetilde{O}(n)}{q}\biggr)^{d/4 - 1/2} \quad ext{w.h.p.} \] For growing $q$, this improves upon the bound certified by constant levels of SoS. This answers in part, a question posed by Hopkins, Shi, and Steurer (COLT 2015), who established the tight characterization for constant levels of SoS.

연구 동기 및 목표

• 랜덤 텐서가 단위 구면 위에서 최댓값을 갖는 것을 증명하기 위해 Sum-of-Squares (SoS) 계층의 성능을 이해하는 것.
• 더 높은 수준의 SoS 완화를 사용하여 랜덤 텐서의 최댓값을 증명하기 위한 기존 경계를 향상시키는 것.
• 랜덤 순서-q 텐서에 대해 q-레벨 SoS가 달성할 수 있는 최고의 근사 보장을 결정하는 것.
• Hopkins, Shi, 및 Steurer (COLT 2015)가 제기한 질문을 해결하는 것 — 즉, 증가하는 수준에 대해 SoS 증명의 정확도가 얼마나 정밀한지에 대한 질문.
• 랜덤 텐서에 대해 q-레벨 SoS 완화가 런타임과 근사 품질 사이의 최적의 트레이드오프를 달성함을 입증하는 것.

제안 방법

• 단위 구면 위에서 텐서의 최댓값을 구하는 최적화 문제를 q-레벨로 매개변수화된 일련의 준정적프로그래밍 문제로 SoS 계층을 사용해 완화하는 것.
• q-레벨 SoS 완화를 분석하기 위해 q 이하의 다항식에 대한 관련 모멘트 행렬과 의사기대값을 연구하는 것.
• 텐서 성분에서 유도된 랜덤 행렬의 스펙트럼 노름을 유계로 둘 수 있도록, 추적 방법을 적용하고, 모멘트 계산 및 비영 기대값을 갖는 경우의 조합적 수를 활용하는 것.
• 텐서 곱의 다중선형 분해를 사용하고, 기대값의 성분에 기여하는 구성 요소를 세기 위한 조합적 추론을 활용하는 것.
• 도수 제약 조건과 다중도 조건을 사용하여 비영 모멘트에 기여하는 유효한 색인 구성의 수를 분석함으로써 SoS 완화 값의 상한을 도출하는 것.
• 집중 불등식과 마르코프 부등식을 사용하여, 유도된 행렬의 스펙트럼 노름이 높은 확률로 유계임을 보이고, 이로 인해 정확한 증명 경계에 도달하는 것.

실험 결과

연구 질문

• RQ1 q-레벨 SoS 계층을 사용하여 효율적으로 증명할 수 있는 랜덤 텐서의 최댓값에 대한 최고의 상한은 무엇인가요?
• RQ2 q-레벨 SoS 완화의 성능은 진짜 최댓값과 비교해 어떻게 되며, 특히 q가 증가함에 따라 어떻게 변화합니까?
• RQ3 SoS 계층이 랜덤 순서-q 텐서에 대해 하위 항을 제외한 최적의 경계를 달성할 수 있나요?
• RQ4 특히 q가 클 경우, 증가하는 q에 대해 상수 수준의 SoS 경계를 향상시키는 데 q-레벨 SoS 완화가 기여합니까?
• RQ5 q-레벨 SoS 완화가 랜덤 텐서의 최댓값을 증명하기 위해 가장 정밀한 경계를 제공하는가, 아니면 더 높은 수준에서 더 나은 경계를 얻을 수 있는가?

주요 결과

• i.i.d. ±1 성분을 가진 랜덤 순서-q 텐서에 대해, q-레벨 SoS 완화는 높은 확률로 B ≤ 𝒜_max · (n / q^{1−o(1)})^{q/4 − 1/2} 를 만족하는 상한 B를 증명한다.
• 이 경계는 큰 q에 대해 Montanari와 Richard (NIPS 2014)의 결과를 향상시키며, 더 정밀한 근사 보장을 제공한다.
• q-레벨 SoS 완화는 하위 항을 제외한 최적의 경계를 달성하며, q-레벨 완화의 최적값이 적어도 𝒜_max · (n / q^{1+o(1)})^{q/4 − 1/2} 이상임을 보여준다.
• 랜덤 순서-d 텐서에 대해, q-레벨 SoS 완화는 높은 확률로 B ≤ 𝒜_max · (Õ(n)/q)^{d/4 − 1/2} 를 만족하는 상한 B를 증명하며, 증가하는 q에 대해 상수 수준의 SoS를 향상시킨다.
• 논문은 Hopkins, Shi, 및 Steurer (COLT 2015)가 제기한 질문을 해결하여, 하위 항 요소를 제외한 최고의 가능한 증명 경계를 SoS 계층이 달성함을 보였다.
• 분석을 통해 SoS 계층이 랜덤 텐서의 최댓값을 증명할 때 런타임 (n^{O(q)}) 과 근사 품질 사이의 최고의 알려진 트레이드오프를 제공함을 입증했다.