[논문 리뷰] Scaled Nuclear Norm Minimization for Low-Rank Tensor Completion

Morteza Ashraphijuo, Xiaodong Wang|arXiv (Cornell University)|2017. 07. 25.

Tensor decomposition and applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 저TT-랭크 텐서 복원을 향상시키기 위해 텐서 전개의 핵노름들의 가중합을 제안한다. 이는 기존의 핵노름 최소화 방법에 비해 샘플 수요를 크게 줄인다. 방법은 TT 분해 전개의 구조적 차이를 활용하여, 무게 없는 합-노름과 매트리시제이션 기반 접근법보다 뛰어난 성능을 보인다.

ABSTRACT

Minimizing the nuclear norm of a matrix has been shown to be very efficient in reconstructing a low-rank sampled matrix. Furthermore, minimizing the sum of nuclear norms of matricizations of a tensor has been shown to be very efficient in recovering a low-Tucker-rank sampled tensor. In this paper, we propose to recover a low-TT-rank sampled tensor by minimizing a weighted sum of nuclear norms of unfoldings of the tensor. We provide numerical results to show that our proposed method requires significantly less number of samples to recover to the original tensor in comparison with simply minimizing the sum of nuclear norms since the structure of the unfoldings in the TT tensor model is fundamentally different from that of matricizations in the Tucker tensor model.

연구 동기 및 목표

• 낮은 TT-랭크를 가진 텐서에 대한 저랭크 텐서 복원 문제를 다루며, 기존의 볼록 근사 방법으로는 효율적으로 다루기 어려운 문제를 해결한다.
• TT 모델에서 전개의 무게 없는 핵노름 합 최소화의 한계를 극복하여, 구조적 이점을 충분히 활용하지 못하는 문제를 해결한다.
• TT 분해 구조에 맞게 맞춤형 가중 최적화 공식을 도입함으로써 텐서 복원의 샘플 효율성을 향상시킨다.
• 제안된 방법이 샘플링 확률 측면에서 무게 없는 합-노름과 매트리시제이션 기반 접근법보다 뛰어나다는 것을 입증한다.
• 이론적으로 탄탄한 볼록 최적화 프레임워크를 제공하며, 저TT-랭크 텐서 복원에서 개선된 경험적 성능을 달성한다.

제안 방법

• 저TT-랭크 텐서 복원을 위한 최적화 목표로 텐서 전개의 핵노름들의 가중합을 제안한다.
• 텐서의 i번째 전개를 이중사상(비단사 매핑)을 통해 재정렬하여 형성된 행렬로 정의하며, TT 구조를 유지한다.
• 텐서-트레인(TT) 분해를 사용하여 텐서를 사슬처럼 연결된 3차원 텐서의 시퀀스로 표현함으로써 저랭크 표현을 가능하게 한다.
• 이러한 전개의 핵노름들의 가중합을 최소화하는 최적화 문제로 공식화하며, 가중치는 TT 분해의 구조적 특성을 반영하도록 선택한다.
• 최적화가 볼록이며, 표준 정준형 프로그래밍 또는 1차 방법으로 해석 가능하도록 보장한다.
• 제안된 방법을 두 가지 기준선과 비교한다: 전개의 무게 없는 핵노름 합과 매트리시제이션의 핵노름 합.

실험 결과

연구 질문

• RQ1 전개의 가중 합-핵노름이 무게 없는 최소화에 비해 저TT-랭크 텐서 복원에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 TT-랭크 텐서에 대해, 제안된 방법의 성능이 터커 모델의 매트리시제이션 핵노름 합과 비교해 어떻게 되는가?
• RQ3 무게 있는 합-노름 공식을 사용할 경우, 무게 없는 합-노름에 비해 필요한 샘플링 확률은 얼마나 감소하는가?
• RQ4 TT 전개와 터커 매트리시제이션 간의 구조적 차이가 텐서 복원 성능 격차를 유도하는가?
• RQ5 제안된 방법은 존재하는 볼록 근사 방법보다 TT-랭크 텐서에 대해 더 낮은 샘플링 비율에서 더 낮은 재구성 오차를 달성할 수 있는가?

주요 결과

• TT-랭크 (1,4,2,2)인 5차원 텐서의 경우, 제안된 방법은 샘플링 확률 p=0.32에서 1% 재구성 오차를 달성하며, 무게 없는 합-노름 방법은 p=0.42에서 이를 달성하여 필요한 샘플 수가 23.8% 감소한다.
• TT-랭크 (3,9,10,2)인 5차원 텐서의 경우, 제안된 방법은 p=0.18에서 1% 오차를 달성하며, 무게 없는 방법은 p=0.25에서 이를 달성하여 샘플링 요구량이 28% 감소한다.
• TT-랭크 (1,5,15,10,3)인 6차원 텐서의 경우, 제안된 방법은 p=0.12에서 1% 오차를 달성하며, 무게 없는 방법은 p=0.18에서 이를 달성하여 샘플링 수요가 33.3% 감소한다.
• 무게 없는 핵노름 합 전개 방법은 특히 낮은 샘플링 비율에서 제안된 방법보다 유의미하게 열등한 성능을 보인다.
• 매트리시제이션의 핵노름 합 방법은 모든 실험에서 매우 열악한 성능을 보이며, 이는 터커 기반 접근법이 TT-랭크 텐서에 부적합하다는 것을 시사한다.
• 제안된 가중 핵노름 최소화 방법은 낮은 샘플링 확률에서 재구성 정확도 측면에서 두 기준선을 항상 뛰어넘으며, 뛰어난 샘플 효율성을 입증한다.