[논문 리뷰] Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion

Longhao Yuan, Chao Li외 3명|arXiv (Cornell University)|2018. 09. 07.

Tensor decomposition and applications참고 문헌 29인용 수 14

한 줄 요약

이 논문은 저랭크 텐서 복원 방법인 텐서 링 저랭크 인자(TLRF)를 제안한다. 이 방법은 텐서 링(TR) 분해의 은닉 공간에 핵노름 정규화를 적용하여 수동적인 TR-랭크 선택 없이도 강건한 저랭크 모델링을 가능하게 한다. ADMM를 통해 소규모 은닉 인자에 대해 SVD를 수행함으로써, 기존 최고 수준의 방법들에 비해 더 높은 정확도와 계산 효율성을 달성한다. 특히 고결손률과 다양한 텐서 순서에서 뛰어난 성능을 보인다.

ABSTRACT

In tensor completion tasks, the traditional low-rank tensor decomposition models suffer from the laborious model selection problem due to their high model sensitivity. In particular, for tensor ring (TR) decomposition, the number of model possibilities grows exponentially with the tensor order, which makes it rather challenging to find the optimal TR decomposition. In this paper, by exploiting the low-rank structure of the TR latent space, we propose a novel tensor completion method which is robust to model selection. In contrast to imposing the low-rank constraint on the data space, we introduce nuclear norm regularization on the latent TR factors, resulting in the optimization step using singular value decomposition (SVD) being performed at a much smaller scale. By leveraging the alternating direction method of multipliers (ADMM) scheme, the latent TR factors with optimal rank and the recovered tensor can be obtained simultaneously. Our proposed algorithm is shown to effectively alleviate the burden of TR-rank selection, thereby greatly reducing the computational cost. The extensive experimental results on both synthetic and real-world data demonstrate the superior performance and efficiency of the proposed approach against the state-of-the-art algorithms.

연구 동기 및 목표

• 기존 텐서 복원 방법의 TR-랭크 설정에 대한 높은 민감도로 인한 과도한 계산 비용과 성능 불안정성을 해결하기 위해.
• 데이터 공간의 저랭크 제약을 더 작은 규모의 은닉 TR 인자 공간으로 이동시켜 계산 복잡도를 감소시키기 위해.
• 진정한 랭크에 대한 사전 지식이 필요 없이 최적의 TR-랭크를 동시에 학습하고 결손된 텐서 항목을 복원하는 방법을 개발하기 위해.
• 특히 고결손률과 고차원 텐서에서의 성능 안정성과 효율성을 향상시키기 위해.

제안 방법

• 원래 텐서가 아닌 은닉 TR 인자에 핵노름 정규화를 도입함으로써, 더 작은 규모의 행렬에 저랭크 제약을 적용한다.
• ADMM(다중 승수의 교대 방법)를 활용해 TR 분해와 결손 항목 복원을 동시에 최적화하는 텐서 복원 최적화 문제를 설정한다.
• ADMM 프레임워크를 통해 TR 인자와 복원된 텐서를 효율적으로 번갈아 갱신하며, 계산 효율성을 확보하기 위해 SVD는 오직 소규모 은닉 인자에만 적용된다.
• 다중선형 텐서 랭크와 TR 인자 랭크 사이의 이론적 연결 고리를 확립함으로써, 은닉 공간에서 암묵적인 저랭크 강제 조건을 구현한다.
• 정규화 덕분에 초기 TR-랭크 설정이 잘못되어도 알고리즘이 오류에 강건하여, 모델 잘못 설정 상황에서도 안정적인 성능을 유지한다.
• 이 방법은 일반화 가능하며, TR 외의 다른 텐서 분해 프레임워크로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 은닉 TR 공간에 저랭크 제약를 적용하면, 텐서 복원에서 TR-랭크 설정에 대한 강건성이 향상되는가?
• RQ2 큰 텐서 편개형 대신 소규모 은닉 인자에 SVD를 수행하면 계산 비용을 줄일 수 있을까? 정확도는 유지되거나 향상되는가?
• RQ3 제안된 방법은 최고 수준의 알고리즘과 비교해 고결손률과 다양한 텐서 순서에서 어떻게 성능을 내는가?
• RQ4 교차 검증이나 사전 지식 없이도 최적의 텐서 랭크를 자동으로 학습할 수 있는가?

주요 결과

• 모든 시뮬레이션 및 실세계 데이터셋에서 RSE와 PSNR 측면에서 TRLRF가 최고의 성능을 보였다. 특히 고결손률(예: 0.9 및 0.95) 조건에서 두드러진 성능을 보였다.
• 고차원, 고랭크 조건(3차, Rn=12)에서 고분광 영상 복원 시 TRLRF는 RSE 0.06548을 달성했으며, TRALS(0.07049), TRWOPT(0.06695), FBCP(0.2363)를 모두 앞섰다.
• TR-랭크를 8(저랭크)로 설정했을 때도 TRLRF는 안정적인 성능(RSE=0.1166)을 유지했지만, TRALS와 TRWOPT는 성능이 심하게 악화되어, 랭크 잘못 설정에 대한 강건성을 입증했다.
• 5차 및 8차 텐서의 경우, TRLRF는 다양한 랭크에서 일관된 성능을 유지했지만, TRALS와 TMac는 랭크 증가에 따라 성능이 저하되어 기준 방법의 과적합 경향을 보였다.
• 결손률 0.9 조건에서도 TRLRF는 가장 높은 PSNR와 가장 낮은 RSE를 유지했으며, 고분광 영상 채널의 시각적 결과는 뛰어난 세부 정보 복원 능력을 보였다.
• 텐서 편개형에 대한 대규모 SVD 연산을 피하고, 은닉 인자에 대한 소규모 SVD에 의존함으로써 계산 효율성을 입증했다.