[논문 리뷰] Rank Minimization on Tensor Ring: A New Paradigm in Scalable Tensor Decomposition and Completion

Longhao Yuan, Chao Li외 3명|arXiv (Cornell University)|2018. 05. 22.

Tensor decomposition and applications참고 문헌 1인용 수 7

한 줄 요약

이 논문은 큰 규모의 SVD를 필요로 하지 않고 낮은 질서 모델링을 효율적으로 가능하게 하기 위해, 텐서 리ング(TR) 분해를 기반으로 한 새로운 텐서 완성 프레임워크를 제안한다. TR 요소의 랭크를 볼록 대체함수를 통해 최소화함으로써, 직접적인 텐서 랭크 최소화를 대체한다. ADMM를 통해 해결되는 TR-OLRF 및 TR-LLRF 모델은 합성 및 실세계 데이터에서 높은 정확도와 효율성을 달성하며, 랭크 선택 및 하이퍼파rameter에 대해 뛰어난 내성성을 보인다.

ABSTRACT

In low-rank tensor completion tasks, due to the underlying multiple large-scale singular value decomposition (SVD) operations and rank selection problem of the traditional methods, they suffer from high computational cost and high sensitivity of model complexity. In this paper, taking advantages of high compressibility of the recently proposed tensor ring (TR) decomposition, we propose a new model for tensor completion problem. This is achieved through introducing convex surrogates of tensor low-rank assumption on latent tensor ring factors, which makes it possible for the Schatten norm regularization based models to be solved at much smaller scale. We propose two algorithms which apply different structured Schatten norms on tensor ring factors respectively. By the alternating direction method of multipliers (ADMM) scheme, the tensor ring factors and the predicted tensor can be optimized simultaneously. The experiments on synthetic data and real-world data show the high performance and efficiency of the proposed approach.

연구 동기 및 목표

• 기존 텐서 완성 방법의 높은 계산 비용과 랭크 민감성 문제를 해결한다.
• 스체텐 노름 기반 텐서 완성에서 발생하는 지수적 복잡도를 갖는 SVD 문제를 해결한다.
• 텐서 리링(TR) 분해의 압축 가능성 특성을 활용해 확장 가능한 낮은 랭크 모델링을 실현한다.
• 사전에 텐서 랭크를 지정하지 않고도 내성적이고 효율적인 텐서 완성 프레임워크를 개발한다.
• TR 요소에 대한 볼록 정규화를 통해 효과적인 텐서 완성 구현을 가능하게 한다.

제안 방법

• 직접적인 텐서 랭크 최소화를 대체하기 위해 잠재적 텐서 리링(TR) 요소에 대한 낮은 랭크 가정의 볼록 대체함수를 도입한다.
• TR 요소에 대한 슈텐 노름 정규화를 위한 두 가지 모델, 즉 TR-OLRF(중첩) 및 TR-LLRF(잠재)를 수립한다.
• ADMM(교차 방향 승수 방법)를 적용하여 TR 요소와 예측된 텐서를 동시에 최적화한다.
• TR 요소에 구조적 슈텐 노름을 적용하여 계산 비용을 감소시키며 확장 가능한 최적화를 가능하게 한다.
• ADMM 프레임워크 하에서 TR 요소와 재구성된 텐서를 교차 반복 방식으로 최적화한다.
• 안정성과 성능을 확보하기 위해 체계적 튜닝 절차(알고리즘 1 및 2)를 통해 하이퍼파rameter를 설정한다.

실험 결과

연구 질문

• RQ1 큰 규모의 SVD 연산 없이도 낮은 랭크 텐서 완성은 효율적으로 달성될 수 있는가?
• RQ2 TR 요소에 대한 볼록 정규화가 정확도를 유지하면서 직접적인 텐서 랭크 최소화를 대체할 수 있는가?
• RQ3 다양한 누락 비율과 텐서 차원에서 제안된 방법의 성능은 어떠한가?
• RQ4 랭크 선택 및 하이퍼파ram터 튜닝에 대해 방법이 내성적인가?
• RQ5 TR 기반 모델이 기존 최첨단 텐서 완성 알고리즘을 능가할 수 있는가?

주요 결과

• 제안된 TR-OLRF 및 TR-LLRF 알고리즘은 모든 누락 비율에서 합성 텐서에 대해 가장 낮은 RSE 값을 기록했으며, 네 가지 최첨단 방법보다 뛰어난 성능을 보였다.
• 4차 및 6차 합성 텐서에서 90% 누락 비율 조건에서도 RSE가 0.05 이하로 유지되어 매우 높은 내성성을 입증했다.
• 90% 누락 항목을 포함한 고분광 영상에서 TR-OLRF 및 TR-LLRF는 RSE 값이 각각 0.0677 및 0.0681을 기록했으며, TT-SiLRTC(0.4572) 및 BCPF(0.3750)보다 유의미하게 낮았다.
• 알고리즘은 TR-랭크 선택에 대해 내성적이었다: 진짜 값에 가까운 SSR 조건에서 RSE는 안정했고, 과도하거나 과소 추정하더라도 성능 저하가 크게 발생하지 않았다.
• 하이퍼파rameter λ에 대해서도 내성적이었으며, 합성 실험에서 세 가지 테스트된 λ 값 모두에서 낮은 RSE를 유지했다.
• TR-OLRF 및 TR-LLRF는 TR-ALS보다 유사하거나 더 좋은 결과를 내었고, 실행 시간은 1891초 대비 각각 756초 및 988초로 절반 이하로 단축되어 뛰어난 효율성을 입증했다.