[논문 리뷰] Guaranteed Simultaneous Asymmetric Tensor Decomposition via Orthogonalized Alternating Least Squares

Furong Huang, Jialin Li외 1명|arXiv (Cornell University)|2018. 05. 25.

Tensor decomposition and applications참고 문헌 26인용 수 5

한 줄 요약

이 논문은 비대칭 텐서에서 상위 $ r $ 성분을 보장된 방식으로 동시에 복원하기 위한 새로운 알고리즘인 슬라이싱 초기화된 교차 부분공간 반복법(Slicing Initialized Alternating Subspace Iteration, s-ASI)을 제안한다. 정규화되지 않은 조건에서 $ O(\log \log \frac{1}{\epsilon}) $ 단계 내에 거의 확실한 수렴을 달성하며, $ \min\{O(\frac{(\lambda_r - \lambda_{r+1})\epsilon}{\sqrt{r}}), O(\delta_0 \frac{\lambda_r - \lambda_{r+1}}{\sqrt{d}})\} $ 이하의 노이즈에 대해서도 강인하며, 동시에 정규화된 비대칭 텐서 분해에 대한 이론적 보장을 처음으로 제공한다.

ABSTRACT

Tensor CANDECOMP/PARAFAC (CP) decomposition is an important tool that solves a wide class of machine learning problems. Existing popular approaches recover components one by one, not necessarily in the order of larger components first. Recently developed simultaneous power method obtains only a high probability recovery of top $r$ components even when the observed tensor is noiseless. We propose a Slicing Initialized Alternating Subspace Iteration (s-ASI) method that is guaranteed to recover top $r$ components ($ε$-close) simultaneously for (a)symmetric tensors almost surely under the noiseless case (with high probability for a bounded noise) using $O(\log(\log \frac{1}ε))$ steps of tensor subspace iterations. Our s-ASI method introduces a Slice-Based Initialization that runs $O(1/\log(\frac{λ_r}{λ_{r+1}}))$ steps of matrix subspace iterations, where $λ_r$ denotes the r-th top singular value of the tensor. We are the first to provide a theoretical guarantee on simultaneous orthogonal asymmetric tensor decomposition. Under the noiseless case, we are the first to provide an \emph{almost sure} theoretical guarantee on simultaneous orthogonal tensor decomposition. When tensor is noisy, our algorithm for asymmetric tensor is robust to noise smaller than $\min\{O(\frac{(λ_r - λ_{r+1})ε}{\sqrt{r}}), O(δ_0\frac{λ_r -λ_{r+1}}{\sqrt{d}})\}$, where $δ_0$ is a small constant proportional to the probability of bad initializations in the noisy setting.

연구 동기 및 목표

• 비대칭 텐서 분해에서 상위 $ r $ 성분을 순차적이거나 고확률적 복원이 아닌 보장된 방식으로 동시에 복원할 수 있는 방법이 부족한 문제를 해결하기 위해.
• 이전 연구에서의 순차적 제거 방법과 고확률 보장의 한계를 극복하기 위해, 노이즈가 없는 조건에서 거의 확실한 수렴을 가능하게 하기 위해.
• 유한한 노이즈 하에서 이론적 보장을 유지하는 비대칭 텐서 분해를 위한 강인한 알고리즘을 개발하기 위해.
• 사전에 $ R $ 를 알지 못하는 상황에서도 안정적이고 보장된 수렴을 가능하게 하는 새로운 슬라이스 기반 초기화 전략을 제안하기 위해.

제안 방법

• 텐서 부분공간 반복과 정규화된 교차 최소제곱법(orthogonalized alternating least squares, o-ALS)을 결합한 Slicing Initialized Alternating Subspace Iteration(s-ASI) 알고리즘을 제안한다.
• 상위 $ r $ 성분을 초기화하기 위해 $ O(1 / \log(\lambda_r / \lambda_{r+1})) $ 단계의 행렬 부분공간 반복을 수행하는 슬라이스 기반 초기화를 도입한다.
• 정규화된 교차 최소제곱법(o-ALS)을 사용하여 성분 추정치를 반복적으로 개선하면서 정규직교성을 유지한다.
• 주요 각도와 특이값 갭을 기반으로 한 수렴 분석을 통해 반복 과정에서의 부분공간 오차를 근사한다.
• 노이즈 텐서의 연산자 노름과 스펙트럴 갭 $ \mathsf{gap}_r = \lambda_r - \lambda_{r+1} $ 를 분석하여 노이즈 강인성의 이론적 경계를 유도한다.
• 노이즈가 없는 경우 거의 확실한 수렴과 유한한 노이즈 하에서 고확률 수렴을 확립하며, 명시적인 노이즈 임계값을 제시한다.

실험 결과

연구 질문

• RQ1 비대칭 텐서에서 상위 $ r $ 성분을 순차적이거나 고확률적 복원이 아닌 보장된 방식으로 동시에 복원할 수 있는가?
• RQ2 거의 확실한 수렴을 보장하는 정규화된 비대칭 텐서 분해를 위한 알고리즘을 설계할 수 있는가?
• RQ3 사전에 $ R $ 를 알지 못하는 상황에서도 안정적이고 보장된 수렴을 보장하는 최적의 초기화 전략은 무엇인가?
• RQ4 제안된 방법은 노이즈에 얼마나 강인한가? 그리고 수렴이 여전히 보장되는 최대 노이즈 수준은 무엇인가?

주요 결과

• s-ASI 알고리즘은 노이즈가 없는 조건에서 $ O(\log \log \frac{1}{\epsilon}) $ 반복 내에 상위 $ r $ 성분으로 거의 확실하게 수렴한다.
• 알고리즘은 $ \min\{O(\frac{(\lambda_r - \lambda_{r+1})\epsilon}{\sqrt{r}}), O(\delta_0 \frac{\lambda_r - \lambda_{r+1}}{\sqrt{d}})\} $ 이하의 노이즈에 대해 강인하며, 여기서 $ \delta_0 $ 는 초기화 실패 확률에 비례한다.
• 슬라이스 기반 초기화는 $ R $ 가 알려져 있지 않은 경우에도 노이즈가 없는 조건에서 정확한 부분공간으로의 수렴을 확률 1로 보장한다.
• 이 방법은 비대칭 케이스에서 동시에 정규화된 텐서 분해에 대한 이론적 보장을 처음으로 제공하며, 이전 연구의 핵심적 격차를 해소한다.
• 수렴 속도는 텐서의 랭크와 차원에 영향을 받지 않아 고차원 문제에 대해 확장 가능하고 효율적이다.