[논문 리뷰] Higher-dimension Tensor Completion via Low-rank Tensor Ring Decomposition

Longhao Yuan, Jianting Cao외 2명|arXiv (Cornell University)|2018. 07. 03.

Tensor decomposition and applications참고 문헌 16인용 수 16

한 줄 요약

이 논문은 저질서 텐서링크(TR) 분해에 기반한 텐서 완성 방법인 TR-WOPT을 제안한다. 이 방법은 경사하강법을 사용해 TR 코어 텐서를 최적화하고 고차원 텐서의 누락된 항목을 예측한다. 이 방법은 특히 높은 누락 비율(예: >90%)에서 최신 기술보다 뛰어난 성능을 보이며, FaLRTC, TT-WOPT, FBCP와 같은 기존 알고리즘보다 영상 완성 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

The problem of incomplete data is common in signal processing and machine learning. Tensor completion algorithms aim to recover the incomplete data from its partially observed entries. In this paper, taking advantages of high compressibility and flexibility of recently proposed tensor ring (TR) decomposition, we propose a new tensor completion approach named tensor ring weighted optimization (TR-WOPT). It finds the latent factors of the incomplete tensor by gradient descent algorithm, then the latent factors are employed to predict the missing entries of the tensor. We conduct various tensor completion experiments on synthetic data and real-world data. The simulation results show that TR-WOPT performs well in various high-dimension tensors. Furthermore, image completion results show that our proposed algorithm outperforms the state-of-the-art algorithms in many situations. Especially when the missing rate of the test images is high (e.g., over 0.9), the performance of our TR-WOPT is significantly better than the compared algorithms.

연구 동기 및 목표

• 특히 극단적인 누락 비율에서 발생하는 누락된 항목이 있는 고차원 텐서의 완성 문제를 해결한다.
• 텐서링크(TR) 분해의 높은 압축성과 유연성을 활용해 데이터 표현 및 완성 정확도를 향상시킨다.
• TR 코어 텐서를 직접 경사하강법으로 최적화하는 미분 가능 최적화 프레임워크를 개발하여 누락된 항목을 보다 잘 복구한다.
• 기존 텐서 완성 방법보다 TR-WOPT의 우수성을 입증하며, 특히 데이터 손실이 심한 상황에서의 성능을 강조한다.
• 텐서 차원의 영향을 조사하여 높은 차원의 텐서화가 결과를 향상시킨다는 것을 보여준다.

제안 방법

• 관측된 항목들로부터 학습되는 TR 코어 텐서를 포함한 텐서링크(TR) 분해의 잠재 요인에 대한 최적화 문제로 텐서 완성을 공식화한다.
• 관측된 항목과 예측된 값 간의 재구성 오차를 최소화하기 위해 경사 기반 최적화 전략(경사하강법)을 사용한다.
• 최적화 목표를 관측된 항목에 대한 최소 제곱 오차 최소화로 정의하며, 명시적 랭크 정규화는 사용하지 않는다.
• TR 분해를 사용해 누락된 텐서를 저질서 코어 텐서의 시퀀스로 표현함으로써 효율적인 파rameterization과 고차원 모델링을 가능하게 한다.
• 실험에서 TR-랭크를 수동으로 조정하며, 최적 성능는 적절한 랭크 선택에 따라 달라진다는 점을 언급한다.
• 최적화 중에 기울기를 효율적으로 계산하기 위해 매트리시제이션과 텐서 수축 연산을 활용한다.

실험 결과

연구 질문

• RQ1 기존의 저질서 텐서 모델보다 텐서링크 분해가 고차원 및 고누락 비율 상황에서 더 정확한 텐서 완성을 가능하게 할 수 있는가?
• RQ2 다양한 누락 패턴 하에서 TR-WOPT의 성능가 FaLRTC, TT-WOPT, FBCP와 같은 최신 기술보다 어떻게 비교되는가?
• RQ3 텐서 차원을 증가시켜(예: 3D에서 5D로) TR-WOPT의 완성 성능이 향상되는가?
• RQ4 기존의 저질서 행렬 또는 텐서 방법이 실패하는 극단적인 누락 비율(예: 90–99%)에서도 TR-WOPT의 성능은 얼마나 견고한가?
• RQ5 명시적 노름 또는 랭크 최소화 없이 TR 코어의 경사 기반 최적화가 누락된 항목을 효과적으로 복구할 수 있는가?

주요 결과

• TR-WOPT는 FaLRTC, TT-WOPT, CP-WOPT, FBCP보다 영상 완성 작업에서 뚜렷이 뛰어나며, 특히 높은 누락 비율(예: 0.9–0.99)에서 낮은 RSE와 높은 PSNR를 기록한다.
• 누락 비율이 0.99일 경우, TR-WOPT는 RSE 0.398과 PSNR 12.59를 기록하지만, FaLRTC는 RSE 0.942와 PSNR 5.099로 급격히 성능이 떨어진다.
• 70%의 항목이 누락된 'Lena' 영상의 경우, TR-WOPT는 5D 텐서화와 TR-랭크 48에서 최고 성능을 기록하여 RSE = 0.0227과 PSNR = 37.17을 달성한다.
• TR-WOPT는 알파벳, 스크래치, 블록, 선, 무작위 등 다양한 누락 패턴에서 안정적인 성능을 유지하며, 경쟁 방법보다 항상 낮은 RSE를 기록한다.
• 이 방법은 뛰어난 일반화 능력을 보이며, 블록 및 선 누락 패턴을 포함한 모든 테스트 시나리오에서 FBCP와 CP-WOPT를 크게 앞서며 성능을 높인다.
• 연구 결과는 더 높은 차원의 텐서화(예: 5D)가 데이터 구조 표현을 향상시키고, 특히 더 높은 TR-랭크와 조합될 경우 완성 정확도를 향상시킨다는 점을 확인한다.