[논문 리뷰] Dictionary Learning and Tensor Decomposition via the Sum-of-Squares Method

Boaz Barak, Jonathan A. Kelner외 1명|arXiv (Cornell University)|2014. 07. 06.

Sparse and Compressive Sensing Techniques참고 문헌 2인용 수 5

한 줄 요약

이 논문은 과다중화된 딕셔너리의 근사 복원을 가능하게 하는 새로운 제곱합(SOS) 방법을 소개한다. 이 방법은 계수 벡터가 조밀할 경우(상수 스파arsity까지 허용)도 이전의 알고리즘적 장벽을 극복하며, 스펙트럴 노이즈 범위에서 노이즈가 있는 텐서 분해를 수행하는 데에 SOS 기반 다항식 최적화를 활용한다. 스파arsity가 다항식 이하일 경우 다항식 시간 내에 복원이 가능하고, 상수 스파arsity일 경우 $ m^{O(\log m)} $ 시간이 소요된다.

ABSTRACT

We give a new approach to the dictionary learning (also known as "sparse coding") problem of recovering an unknown $n imes m$ matrix $A$ (for $m \geq n$) from examples of the form \[ y = Ax + e, \] where $x$ is a random vector in $\mathbb R^m$ with at most $τm$ nonzero coordinates, and $e$ is a random noise vector in $\mathbb R^n$ with bounded magnitude. For the case $m=O(n)$, our algorithm recovers every column of $A$ within arbitrarily good constant accuracy in time $m^{O(\log m/\log(τ^{-1}))}$, in particular achieving polynomial time if $τ= m^{-δ}$ for any $δ>0$, and time $m^{O(\log m)}$ if $τ$ is (a sufficiently small) constant. Prior algorithms with comparable assumptions on the distribution required the vector $x$ to be much sparser---at most $\sqrt{n}$ nonzero coordinates---and there were intrinsic barriers preventing these algorithms from applying for denser $x$. We achieve this by designing an algorithm for noisy tensor decomposition that can recover, under quite general conditions, an approximate rank-one decomposition of a tensor $T$, given access to a tensor $T'$ that is $τ$-close to $T$ in the spectral norm (when considered as a matrix). To our knowledge, this is the first algorithm for tensor decomposition that works in the constant spectral-norm noise regime, where there is no guarantee that the local optima of $T$ and $T'$ have similar structures. Our algorithm is based on a novel approach to using and analyzing the Sum of Squares semidefinite programming hierarchy (Parrilo 2000, Lasserre 2001), and it can be viewed as an indication of the utility of this very general and powerful tool for unsupervised learning problems.

연구 동기 및 목표

• 기존 알고리즘이 매우 희박한 벡터(예: $ O(\sqrt{n}) $개의 비영원소)를 요구하는 바탕으로, 계수 벡터가 조밀한 경우 과다중화된 딕셔너리 학습 문제를 해결하는 것.
• 지속적인 스펙트럴 노이즈 범위에서, 원본 텐서와 변형된 텐서의 국소 최적해가 크게 다를 수 있는 상황에서도 안정적인 텐서 분해 알고리즘을 개발하는 것.
• 비지도 학습 문제에 대해 제곱합(SOS) 계층의 유용성을 입증하고, 이 분야에서 SOS의 첫 번째 엄밀한 실행 시간 경계를 제공하는 것.
• 딕셔너리 행렬에 대한 비일관성 가정이 없더라도, 높은 정확도로 딕셔너리 열을 근사적으로 복원할 수 있도록 하는 것.

제안 방법

• 딕셔너리 학습 및 텐서 분해에서 발생하는 비볼록 다항식 최적화 문제를 해결하기 위해 제곱합(SOS) 준선형계획법 계층을 활용한다.
• 딕셔너리 학습 문제를, 스펙트럴 노이즈가 $ \tau $ 이내인 훼손된 버전으로부터 저질 랭크 텐서 구조를 복원하는 노이즈 있는 텐서 분해 문제로 재구성한다.
• 해결 공간을 표현하고 추론하기 위해 다항식에 대한 의사분포를 사용하는 것이 핵심 요소이며, 이는 노이즈가 있고 조밀한 입력을 처리할 수 있도록 한다.
• 제약 조건인 $ \|u\|_2^2 = 1 $ 및 $ P(u) \geq 1 - \varepsilon $를 만족하는 차수 $ k $의 의사분포를 사용하며, 여기서 $ P $ 는 $ \|A^T u\|_d^d $ 를 근사한다.
• 진짜 분포에서 성공 확률을 유지하기 위해 재가중 기법을 적용하며, 계수 분포의 우아함을 활용한다.
• 스펙트럴 노이즈 경계와 농도 불등식을 결합하여, 노이즈가 존재하는 상황에서도 의사분포가 딕셔너리의 진짜 구조를 잘 포착하도록 보장한다.

실험 결과

연구 질문

• RQ1 기존 알고리즘의 $ O(\sqrt{n}) $ 스파arsity 한계를 넘어서, 계수 벡터가 조밀한 경우에도 제곱합(SOS) 방법을 사용해 딕셔너리 학습 문제를 해결할 수 있는가?
• RQ2 원본 텐서와 변형된 텐서의 국소 최적해가 크게 다를 수 있는 상황에서, 스펙트럴 노이즈가 있는 입력 텐서에 대해 안정적인 텐서 분해가 가능한가?
• RQ3 비지도 학습 문제에 대해 SOS 계층을 엄밀히 분석할 수 있으며, 정확성과 실행 시간 보장을 동시에 제공할 수 있는가?
• RQ4 SOS 기반 접근법을 통해 딕셔너리 행렬에 대한 비일관성 가정 없이도 딕셔너리 열을 복원할 수 있는가?

주요 결과

• 알고리즘은 $ m^{O(\log m / \log(\tau^{-1}))} $ 시간 내에 딕셔너리 $ A $의 각 열을 임의로 좋은 상수 정확도로 복원한다. $ \tau = m^{-\delta} $ 이면 이 시간은 다항식 시간이 된다.
• 상수 $ \tau $ 일 경우 실행 시간은 $ m^{O(\log m)} $ 로, 기존의 조밀한 벡터에 대한 방법보다 지수적 시간보다 훨씬 빠르며, 하위지수적이다.
• 계수 벡터의 스파arsity가 $ \tau m $ 이고 $ \tau = m^{-\delta} $ 이면 다항식 시간 복원이 가능하며, 이는 이전의 $ O(\sqrt{n}) $ 스파arsity 한계를 초월하는 적용 영역을 제공한다.
• 원본과 변형된 텐서 간의 구조적 유사성이 없더라도, 스펙트럴 노이즈 범위에서의 노이즈 있는 텐서 분해에 대해 알려진 바 없는 첫 번째 보장을 제공한다.
• SOS 기반 접근법은 딕셔너리 행렬에 대한 비일관성 가정 없이도 과다중화된 딕셔너리 학습 문제를 성공적으로 처리한다.
• 주어진 정확도 $ \varepsilon $ 에 대해, $ n^{O(d)} / \text{poly}(\tau) $ 개의 샘플만으로도 대칭화된 하우스도르프 거리에서 높은 확률로 근사 복원이 가능하다.