[논문 리뷰] Tensor Completion Made Practical

Allen Liu, Ankur Moitra|arXiv (Cornell University)|2020. 06. 04.

Tensor decomposition and applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 고도의 요인 상관관계 하에서도 진짜 텐서로의 선형 수렴을 달성하는 텐서 완성용 새로운 변종 대체 최소화 방법을 제안한다. 이는 증명 가능한 보장을 갖추고 있으며 거의 선형 실행 시간을 가진다. 표준 대체 최소화와 달리, 실무에서 느리게 수렴하거나 발산할 수 있지만, 새로운 방법인 크로네커 완성(Kronecker Completion)은 행렬 완성에서 유래한 진행도 측정 기반의 구조적 업데이트 규칙을 사용하여, 희소 관측치로부터도 제3차 텐서를 빠르고 안정적으로 복원할 수 있다. 이는 고차원 설정(예: 1000×1000×1000)에서도 작동하며, 극히 적은 데이터로도 가능하다.

ABSTRACT

Tensor completion is a natural higher-order generalization of matrix completion where the goal is to recover a low-rank tensor from sparse observations of its entries. Existing algorithms are either heuristic without provable guarantees, based on solving large semidefinite programs which are impractical to run, or make strong assumptions such as requiring the factors to be nearly orthogonal. In this paper we introduce a new variant of alternating minimization, which in turn is inspired by understanding how the progress measures that guide convergence of alternating minimization in the matrix setting need to be adapted to the tensor setting. We show strong provable guarantees, including showing that our algorithm converges linearly to the true tensors even when the factors are highly correlated and can be implemented in nearly linear time. Moreover our algorithm is also highly practical and we show that we can complete third order tensors with a thousand dimensions from observing a tiny fraction of its entries. In contrast, and somewhat surprisingly, we show that the standard version of alternating minimization, without our new twist, can converge at a drastically slower rate in practice.

연구 동기 및 목표

• 대부분의 경우 큰 정수형 프로그램을 수반해 실용적이지 않은 이론적 텐서 완성 알고리즘과 실무에서 널리 쓰이는 대체 최소화 방법 사이의 격차를 메우기 위해.
• 요인 간 상관관계가 있을 경우 수렴 속도가 느리거나 이상한 행동(예: 관측치가 많을수록 수렴 속도가 느려지는 등)을 보이는 표준 대체 최소화의 한계를 극복하기 위해.
• 비정규직교 및 매우 상관관계가 높은 요인 조건 하에서도 증명 가능한 수렴성과 실용성을 갖춘 알고리즘을 개발하기 위해.
• 희소 관측치가 있는 고차원 텐서(예: 1000×1000×1000)에 대해 효율적으로 확장 가능한 알고리즘을 보여주기 위해.
• 합성 및 실제 데이터 환경에서 표준 대체 최소화보다 훨씬 빠른 수렴 속도를 보이며, 노이즈 조건 하에서도 동일하게 성능을 유지함을 보여주기 위해.

제안 방법

• 텐서 공간 내 곡률을 더 잘 포착하기 위해 헤시안의 구조적, 저랭크 근사치를 통합한 새로운 대체 최소화 변종인 크로네커 완성(Kronecker Completion)을 도입하여 업데이트 규칙을 수정한다.
• 행렬 완성에서 유래한 진행도 측정 기법을 텐서 설정에 적용하기 위해 최적화 하위문제를 재가중하여 요인 상관관계를 반영함으로써 안정적이고 신속한 수렴을 보장한다.
• 각 대체 최소화 단계에서 부분 표본 추출 전략을 사용하여, 각 반복에서 관측된 항목의 무작위 부분집합만을 사용함으로써 안정성과 수렴 속도를 향상시킨다.
• 크기 n×r인 세 개의 요인 행렬(X, Y, Z)을 유지하고, 관측된 항목에 국한된 작은 최소 제곱 문제를 풀어 순차적으로 업데이트함으로써 반복당 거의 선형 시간 복잡도를 달성한다.
• 최적화 하위문제를 관측된 항목에서의 제곱 오차를 최소화하는 것으로 설정한다: $\min_{z_1,\dots,z_r} \left\| (T - \sum_{i=1}^r \widehat{x}_i \otimes \widehat{y}_i \otimes z_i) \big|_S \right\|_2^2 $, 업데이트는 새로운 진행도 측정 기반으로 유도된다.
• 특히 요인이 상관관계가 높을 경우 수렴 속도를 높이고 조건 수를 개선하기 위해 헤시안 근사치에 크로네커 구조를 통합한다.

실험 결과

연구 질문

• RQ1 요인이 높은 상관관계가 있는 경우에도 증명 가능한 선형 수렴 보장을 갖는 텐서 완성 알고리즘을 설계할 수 있는가? 이는 실생활 응용에서 흔한 상황이다.
• RQ2 행렬 완성에서의 진행도 측정 기반으로 개선된 대체 최소화 방식이 실무와 이론 모두에서 표준 대체 최소화보다 뛰어나게 작용하는가?
• RQ3 희소 관측치 조건 하에서도 강력한 수렴성과 정확도를 유지하면서 거의 선형 시간 복잡도를 달성할 수 있는가?
• RQ4 노이즈 조건 하에서 알고리즘이 어떻게 작동하는가? 표본 크기와 관련하여 거의 최적의 오차 스케일링을 달성하는가?
• RQ5 왜 표준 대체 최소화 방법은 요인이 상관관계가 있을 경우 수렴하지 못하거나 이상한 행동(예: 더 많은 데이터일수록 수렴 속도가 느려지는 등)을 보이는가? 이 문제는 해결될 수 있는가?

주요 결과

• 크로네커 완성(Kronecker Completion)은 요인이 매우 상관관계가 높은 경우에도 진짜 텐서로의 선형 수렴을 달성한다. 이는 표준 대체 최소화가 수렴하지 못하거나 매우 느리게 수렴하는 영역이다.
• 1000×1000×1000 텐서에 대해 관측된 항목이 50,000에서 200,000개뿐이어도 크로네커 완성은 약 30회 반복 내에 수렴하지만, 표준 대체 최소화는 1,000회 반복 후에도 오차가 0으로 수렴하지 못한다.
• 10%의 i.i.d. 노이즈가 있는 경우, 크로네커 완성과 표준 대체 최소화 모두 노이즈 수준 이하의 오차를 달성하며, 오차는 표본 수의 제곱근 비례로 감소하여 거의 최적의 성능임을 나타낸다.
• 크로네커 완성의 표본 복잡도는 $n^{3/2}$로 이론적 하한과 일치하며, 반면 표준 대체 최소화는 작은 텐서를 넘어서는 데 어려움을 겪고 관측 수가 증가함에 따라 이상한 행동을 보인다.
• 부분 표본 추출은 표준 대체 최소화의 안정성과 수렴 속도를 향상시키지만, 요인 상관관계 하에서의 근본적인 불안정성은 여전히 해결되지 않으며, 이는 크로네커 완성이 해결한다.
• 상관관계가 높은 텐서에 대한 실험에서, 크로네커 완성은 수렴 속도와 최종 오차 모두에서 표준 대체 최소화를 뛰어넘었으며, 후자는 10배 더 많은 반복을 수행한 경우조차도 열등했다.