[논문 리뷰] Tensor Completion by Alternating Minimization under the Tensor Train (TT) Model

Wenqi Wang, Vaneet Aggarwal외 1명|arXiv (Cornell University)|2016. 09. 19.

Tensor decomposition and applications참고 문헌 9인용 수 30

한 줄 요약

이 논문은 텐서 트레인(TT) 형식의 행렬 곱 상태(MPS) 표현을 통해 텐서 트레인(TT) 형식에서의 교대 최소화를 사용하는 새로운 텐서 완성 알고리즘을 제안한다. 스펙트럴 초기화와 효율적인 최소 제곱 업데이트를 통해 TT 코어를 활용함으로써, 기존의 TT 기반 및 낮은 질서 텐서 완성 방법에 비해 더 높은 복구 정확도와 더 빠른 수렴 속도를 달성한다. 이는 합성 데이터와 실제 세계 데이터셋 모두에서 성능을 뛰어나게 한다.

ABSTRACT

Using the matrix product state (MPS) representation of tensor train decompositions, in this paper we propose a tensor completion algorithm which alternates over the matrices (tensors) in the MPS representation. This development is motivated in part by the success of matrix completion algorithms which alternate over the (low-rank) factors. We comment on the computational complexity of the proposed algorithm and numerically compare it with existing methods employing low rank tensor train approximation for data completion as well as several other recently proposed methods. We show that our method is superior to existing ones for a variety of real settings.

연구 동기 및 목표

• 고차원 텐서에서 낮은 질서의 구조를 가진 빈도 있는 항목을 복구하는 데 도전한다.
• 이전의 TT 기반 완성 방법이 구조화된 MPS 표현을 충분히 활용하지 못하는 한계를 극복한다.
• 사용 가능한 데이터를 기반으로 한 스펙트럴 초기화를 통해 수렴 속도와 복구 정확도를 향상시킨다.
• TT 분해의 텐서 트레인 형식에 맞게 최적화된 효율적인 교대 최소화 프레임워크를 개발한다.
• 실제 세계의 텐서 완성 작업에 적합한 계산적으로 다룰 수 있는 알고리즘을 제공한다.

제안 방법

• 행렬 곱 상태(MPS) 표현을 사용하여 TT 분해의 코어 텐서에 대한 최적화 문제로 텐서 완성을 공식화한다.
• 한 번에 하나의 TT 코어만 업데이트하고 나머지는 고정하는 방식으로 교대 최소화를 적용하며, 각 업데이트에 대해 최소 제곱 하위 문제를 해결한다.
• 수렴에 필요한 반복 수를 줄이기 위해 사용 가능한 데이터를 기반으로 한 스펙트럴 초기화를 사용한다.
• 텐서 편개(모드-k 편개, 왼쪽/오른쪽 편개) 연산을 활용하여 업데이트를 효율적으로 계산하고 낮은 질서의 구조를 유지한다.
• 텐서 연결 곱과 추적 기반 표현을 사용하여 TT 코어 업데이트 간의 일관성을 유지한다.
• 최적화 과정에서 TT 형식의 계층적 구조를 활용함으로써 수치적 안정성과 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 TT 코어에서의 교대 최소화가 기존의 TT 기반 방법에 비해 텐서 완성 성능을 향상시킬 수 있는가?
• RQ2 관측된 항목을 기반으로 한 스펙트럴 초기화가 TT 기반 텐서 완성에서 수렴 속도를 높이는가?
• RQ3 최신의 낮은 질서 텐서 완성 알고리즘과 비교할 때 제안된 방법은 복구 정확도와 계산 효율성 면에서 어떻게 다른가?
• RQ4 TT 형식 하에서 제안된 교대 최소화 알고리즘의 계산 복잡도는 무엇인가?
• RQ5 이 알고리즘은 누락된 항목이 있는 실제 세계 데이터셋에 효과적으로 스케일링될 수 있는가?

주요 결과

• 제안된 알고리즘은 기존의 TT 기반 및 낮은 질서 텐서 완성 방법에 비해 합성 및 실제 세계 데이터셋 모두에서 뛰어난 복구 정확도를 달성한다.
• 스펙트럴 초기화가 수렴에 필요한 반복 수를 크게 줄여 계산 효율성을 향상시킨다.
• 높은 누락 비율(최대 60%)을 포함한 다양한 데이터 설정에서도 강력한 성능을 보인다.
• 계산 복잡도는 다루기 쉬우며 확장 가능하여 대규모 텐서 완성 작업에 적합하다.
• 실험 결과는 TT 분해에서 MPS 구조를 활용함으로써 더 나은 최적화 역학과 향상된 복구 품질을 달성할 수 있음을 확인한다.