[논문 리뷰] On Tensor Train Rank Minimization: Statistical Efficiency and Scalable Algorithm

Masaaki Imaizumi, Takanori Maehara외 1명|arXiv (Cornell University)|2017. 08. 01.

Tensor decomposition and applications참고 문헌 29인용 수 23

한 줄 요약

이 논문은 텐서 완성에 대한 통계적으로 효율적이고 확장 가능한 텐서 트레이스(TT) 랭크 최소화 방법을 제안한다. 오차 한계를 갖는 볼록 relaxation을 도입하고, 텐서 순서 K에 대해 시간 복잡도를 지수에서 이차로 감소시키는 랜덤화된 교대 최소 제곱법(TT-RALS) 알고리즘을 개발하여, 이론적 보장과 실제 데이터에서의 경험적 성능을 유지한다.

ABSTRACT

Tensor train (TT) decomposition provides a space-efficient representation for higher-order tensors. Despite its advantage, we face two crucial limitations when we apply the TT decomposition to machine learning problems: the lack of statistical theory and of scalable algorithms. In this paper, we address the limitations. First, we introduce a convex relaxation of the TT decomposition problem and derive its error bound for the tensor completion task. Next, we develop an alternating optimization method with a randomization technique, in which the time complexity is as efficient as the space complexity is. In experiments, we numerically confirm the derived bounds and empirically demonstrate the performance of our method with a real higher-order tensor.

연구 동기 및 목표

• 머신러닝 응용 분야에서 텐서 트레이스(TT) 분해에 대한 통계적 이론의 부족을 해결한다.
• 특히 큰 전개 행렬에서의 SVD로 인한 높은 계산 비용을 해결한다.
• 낮은 시간 복잡도를 유지하면서도 통계적 성능을 보존하는 확장 가능한 최적화 알고리즘을 개발한다.
• 볼록 터커 분해와 비교할 만한 수준의 이론적 오차 한계를 TT 기반 텐서 완성에 대해 확립한다.
• 수치적 검증을 통해 실제 고차원 텐서에서의 방법의 효과성을 입증한다.

제안 방법

• 스카텐-1 노름 정규화를 사용한 TT 랭크 최소화 문제의 볼록 relaxation을 제안하여 통계 분석을 가능하게 한다.
• 볼록 TT 형식을 사용한 텐서 완성에 대한 오차 한계를 유도하여, 볼록 터커 분해와 비교해 통계적 효율성이 뛰어남을 보여준다.
• 낮은 랭크 구조를 활용하여 텐서 순서 K에 대해 시간 복잡도를 지수에서 이차로 감소시키는 랜덤화된 교대 최소 제곱법(TT-RALS) 알고리즘을 개발한다.
• 수렴 속도를 향상시키기 위해 ADMM 프레임워크에 랜덤화를 통합하면서도 이론적 오차 보장을 유지한다.
• 비볼록성을 유도하는 랜덤화를 처리하기 위해 모드별 최적화와 프록시멀 업데이트, 교대 방향 승수를 사용한다.
• 수축 사상 원리와 행렬 편미분 이론을 활용하여 추정된 TT 코어가 진짜 값에서 벗어나지 않는 범위를 제한한다.

실험 결과

연구 질문

• RQ1 TT 분해의 볼록 relaxation은 텐서 완성에 대해 통계적으로 일致하는 추정기로 작용할 수 있는가?
• RQ2 볼록 relaxation 하에서 TT 기반 텐서 완성의 이론적 오차 한계는 무엇인가?
• RQ3 텐서 순서 K에 대해 TT 분해의 계산 비용을 지수에서 다항식으로 줄일 수 있는가?
• RQ4 전역 수렴을 상실함에도 불구하고, 랜덤화된 교대 최소 제곱법(TT-RALS)은 통계적 일관성을 유지하는가?
• RQ5 기존 방법들과 비교해 실제 고차원 텐서 데이터에서 제안된 방법은 어떤 성능을 보이는가?

주요 결과

• TT 분해의 볼록 relaxation은 볼록 터커 분해와 유사하게 스케일링되는 오차 한계를 달성하여 통계적 효율성을 확인한다.
• TT-RALS 알고리즘은 텐서 순서 K에 대해 시간 복잡도를 지수에서 이차로 감소시켜 고차원 텐서에 대한 확장성을 확보한다.
• 전역 수렴을 상실함에도 불구하고 TT-RALS는 볼록 relaxation 방법과 비교해 유사한 이론적 오차 한계를 유지한다.
• 수치 실험을 통해 도출된 오차 한계가 실질적으로도 성립함을 확인하였으며, 방법이 누락된 텐서 항목을 정확히 복원함을 보여준다.
• 실제 고차원 텐서에 대한 경험적 결과는 방법의 효과성과 확장성을 실제 환경에서 입증한다.
• 특히 큰 K에 대해 통계적 정확성과 계산 효율성 사이의 유리한 트레이드오프를 달성한다.