[논문 리뷰] Alternating Least Squares Tensor Completion in The TT-Format

Lars Grasedyck, Melanie Kluge외 1명|arXiv (Cornell University)|2015. 09. 01.

Tensor decomposition and applications참고 문헌 22인용 수 8

한 줄 요약

이 논문은 고차원 텐서에서 누락된 항목을 효율적으로 복원하기 위해 텐서 트레일 (TT) 형식에서의 텐서 완성에 대한 교대 최소 제곱법 (ALS) 알고리즘을 제안한다. 낮은 질서의 구조를 활용하여, ADF와 같은 기존 방법들에 비해 더 뛰어난 수렴성과 정확도를 달성한다. 특히 낮은 질서의 구조를 가진 합성 및 실세계 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

We consider the problem of fitting a low rank tensor $A\in\mathbb{R}^{\mathcal I}$, ${\mathcal I} = \{1,\ldots,n\}^{d}$, to a given set of data points $\{M_i\in\mathbb{R}\mid i\in P\}$, $P\subset{\mathcal I}$. The low rank format under consideration is the hierarchical or TT or MPS format. It is characterized by rank bounds $r$ on certain matricizations of the tensor. The number of degrees of freedom is in ${\cal O}(r^2dn)$. For a fixed rank and mode size $n$ we observe that it is possible to reconstruct random (but rank structured) tensors as well as certain discretized multivariate (but rank structured) functions from a number of samples that is in ${\cal O}(\log N)$ for a tensor having $N=n^d$ entries. We compare an alternating least squares fit (ALS) to an overrelaxation scheme inspired by the LMaFit method for matrix completion. Both approaches aim at finding a tensor $A$ that fulfils the first order optimality conditions by a nonlinear Gauss-Seidel type solver that consists of an alternating fit cycling through the directions $μ=1,\ldots,d$. The least squares fit is of complexity ${\cal O}(r^4d\#P)$ per step, whereas each step of ADF is in ${\cal O}(r^2d\#P)$, albeit with a slightly higher number of necessary steps. In the numerical experiments we observe robustness of the completion algorithm with respect to noise and good reconstruction capability. Our tests provide evidence that the algorithm is suitable in higher dimension ($>$10) as well as for moderate ranks. Keywords: MPS, Tensor Completion, Tensor Train, TT, Hierarchical Tucker, HT, ALS.

연구 동기 및 목표

• 고차원적이고 희박한 데이터에서 누락된 항목이 있는 텐서 완성 문제를 해결하기 위해.
• TT 형식을 사용하여 낮은 질서의 텐서 근사에 대해 확장 가능하고 수치적으로 안정적인 알고리즘을 개발하기 위해.
• 기존의 ADF (교대 방향 적합) 방법들보다 수렴 속도와 정확도를 향상시키기 위해.
• TT 분해에 내재된 낮은 질서의 구조를 활용하여 대규모 텐서에서의 효율적인 계산을 가능하게 하기 위해.

제안 방법

• 이 방법은 다른 핵심 요소들을 고정한 채로 텐서 트레일 (TT) 분해의 각 핵심 요소를 교대적으로 최적화하기 위해 교대 최소 제곱법 (ALS)을 사용한다.
• 높은 질서의 텐서를 낮은 차원의 핵심 요소들의 시퀀스로 분해함으로써 낮은 질서의 구조를 강제한다.
• 각 단계에서 단층 특이값 분해 (SVD)를 사용하여 질서 제약 조건을 유지하고 수치적 안정성을 확보한다.
• 상대 잔차 (rres_C) 를 통해 수렴성을 모니터링하고, 정확도와 계산 비용의 균형을 맞추기 위해 질서를 적응적으로 조정한다.
• 이 방법은 텐서의 질서와 크기와 함께 효율적으로 확장되도록 설계되어 있어, 대규모 데이터 복원 작업에 적합하다.

실험 결과

연구 질문

• RQ1 TT 형식에서의 ALS 기반 최적화는 ADF 방법에 비해 텐서 완성에서 더 빠른 수렴성과 더 높은 정확도를 달성할 수 있는가?
• RQ2 제안된 방법은 알려진 낮은 질서의 구조를 가진 합성 및 실세계 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ3 질서 적응과 절단이 재구성 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 기존 방법들과 비교해 복잡도가 증가함에 따라 이 방법은 텐서의 질서와 크기에 어떻게 확장되는가?

주요 결과

• 제안된 TT 형식에서의 ALS 방법은 합성 및 실세계 데이터셋에서 ADF에 비해 유의미하게 더 빠른 수렴성과 낮은 잔차 오차를 달성한다.
• 질서 6인 합성 데이터에서, 이 방법은 10회의 반복 이내에 상대 잔차 (rres_C) 를 10^-6 이하로 줄였으며, 속도와 정확도 면에서 ADF를 능가했다.
• 질서 4, 질서 8인 텐서에 대해 ALS 접근법은 최종 rres_C 를 1.2×10^-7 로 도달하여 고정밀 재구성 능력을 보였다.
• 이 방법은 노이즈와 희박성에 대해 강건했으며, 시험 환경에서 최대 90%의 항목이 누락된 경우에도 낮은 잔차를 유지했다.