[논문 리뷰] Fast and robust tensor decomposition with applications to dictionary learning

Tselil Schramm, David Steurer|arXiv (Cornell University)|2017. 06. 27.

Tensor decomposition and applications참고 문헌 1인용 수 11

한 줄 요약

이 논문은 이전에 서방정식 프로그래밍을 통해만 달성 가능했던, sum-of-squares (SOS) 방법과 유사한 강건성 보장을 갖는 빠른 스펙트럼 기반 텐서 분해 알고리즘을 제시한다. 이 알고리즘은 거의 선형 시간 내에 작동하며, 정규직교 성분을 가진 4차 텐서를 상수 스펙트럼 노름 오차로 분해한다. 입력 크기가 $n^4$인 경우 런타임은 $n^5$이며, 희소성 및 상관관계 가정 하에서 실용적인 딕셔너리 학습을 가능하게 한다.

ABSTRACT

We develop fast spectral algorithms for tensor decomposition that match the robustness guarantees of the best known polynomial-time algorithms for this problem based on the sum-of-squares (SOS) semidefinite programming hierarchy. Our algorithms can decompose a 4-tensor with $n$-dimensional orthonormal components in the presence of error with constant spectral norm (when viewed as an $n^2$-by-$n^2$ matrix). The running time is $n^5$ which is close to linear in the input size $n^4$. We also obtain algorithms with similar running time to learn sparsely-used orthogonal dictionaries even when feature representations have constant relative sparsity and non-independent coordinates. The only previous polynomial-time algorithms to solve these problem are based on solving large semidefinite programs. In contrast, our algorithms are easy to implement directly and are based on spectral projections and tensor-mode rearrangements. Or work is inspired by recent of Hopkins, Schramm, Shi, and Steurer (STOC'16) that shows how fast spectral algorithms can achieve the guarantees of SOS for average-case problems. In this work, we introduce general techniques to capture the guarantees of SOS for worst-case problems.

연구 동기 및 목표

• SOS 기반 텐서 분해의 이론적 강건성과 서방정식 프로그래밍의 비현실적인 런타임 사이의 격차를 메우기 위해.
• 특히 정규직교 성분을 가진 4차 텐서에 대해 SOS 방법의 오차 내성 수준을 충족하면서도 실용적이고 빠른 텐서 분해 알고리즘을 개발하기 위해.
• 이전 방법이 비싼 SOS 완화를 요구했던, 희소성과 비.i.i.d. 특징 표현을 가진 경우에도 강건한 딕셔너리 학습을 가능하게 하기 위해.
• 입력 텐서 크기가 $n^4$일 때 런타임이 $n^5$로 거의 선형 시간 복잡도를 달성하여 이전의 다항식 시간 기반 SOS 알고리즘보다 크게 향상시키기 위해.
• 평균 사례 스펙트럼 알고리즘에 대한 이전 연구를 확장하여 악재 상황 문제로 일반화 가능한 스펙트럼 프레임워크를 제공하기 위해.

제안 방법

• 정규직교 성분을 가진 4차 텐서에서 성분을 반복적으로 추출하기 위해 스펙트럼 투영과 텐서 모드 재배열을 사용한다.
• 근사치를 개선하고 진짜 성분에 스펙트럼적으로 가까운 벡터를 복원하기 위해 후처리 단계를 적용한다.
• 행렬 농도 부등식과 스펙트럼 노름 경계를 활용하여 상수 스펙트럼 노름 편향 하에서 오차 전파를 통제한다.
• 크로네cker 곱 표현을 통해 문제를 행렬 형태로 변환하여 표준 선형 대수 도구를 사용한 효율적 계산을 가능하게 한다.
• 표본에서 4차 모멘트 텐서를 추정하는 데로 문제를 축소시키는 랜덤화 알고리즘을 도입하고, 행렬 베르누이 불등식을 사용해 추정 오차를 경계한다.
• 정규직교성과 모멘트 가정을 활용해 경험 텐서의 공분산 구조를 단순화하여 더 날카운 스펙트럼 노름 경계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 악재 상황 설정에서 스펙트럼 알고리즘이 SOS 방법과 동일한 강건성 보장을 달성할 수 있는가?
• RQ2 정규직교 성분을 가진 4차 텐서에 대해, 실용적이고 빠른 텐서 분해 알고리즘이 달성할 수 있는 최소 오차 내성(스펙트럼 노름 기준)은 무엇인가?
• RQ3 스펙트럼 방법은 희소로 사용되는 딕셔너리와 상관관계가 있고 비.i.i.d. 특징 표현을 처리하는 데로 확장될 수 있는가?
• RQ4 유한하고 지수 감소하는 모멘트 가정 하에서, 4차 모멘트 텐서의 스펙트럼 노름 $o(1)$ 내 추정을 위해 필요한 표본 복잡도는 얼마인가?
• RQ5 어떻게 하면 SOS의 강건성과 거의 선형 시간 복잡도를 동시에 달성하는 스펙트럼 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 스펙트럼 알고리즘은 오차 텐서가 상수 스펙트럼 노름(즉, $d^2 \times d^2$ 행렬 기준)을 가질 때조차도 정규직교 성분을 가진 4차 텐서의 강건한 분해를 달성하며, 이는 기존에 알려진 최고 수준의 SOS 보장과 동일하다.
• 입력 텐서 크기가 $n^4$일 때 알고리즘은 $n^5$ 시간 내에 실행되며, 이는 입력 크기와 거의 선형이면서 이전의 SOS 기반 방법보다 훨씬 빠르다.
• 상대적 희소성이 일정하고 비독립적인 좌표를 가진 정규직교 딕셔너리에서 희소로 사용되는 경우, 동일한 런타임과 강건성으로 복원을 달성한다.
• 4차 모멘트 텐서 추정을 위한 표본 복잡도는 $\widetilde{O}(\max\{\beta n^3, (\kappa n)^2\})$이며, 여기서 $\beta$는 8차 모멘트를, $\kappa$는 특징 벡터의 원소를 각각 경계한다.
• 제시된 표본 복잡도 하에서 경험 4차 모멘트 텐서의 추정 오차 스펙트럼 노름은 높은 확률로 $o(1)$ 이내로 경계된다.
• 이 방법은 큰 서방정식 프로그래밍을 해결하지 않아도 되어, 이전의 SOS 기반 접근법에 비해 실용적이고 쉽게 구현 가능하다.