[논문 리뷰] Efficient tensor completion: Low-rank tensor train

Ho N. Phien, Hoang Duong Tuan외 2명|arXiv (Cornell University)|2016. 01. 06.

Tensor decomposition and applications참고 문헌 27인용 수 27

한 줄 요약

이 논문은 저질서 텐서의 누락된 항목을 복원하기 위해 텐서 트레일(TT) 랭크를 기반으로 한 두 가지 효율적인 텐서 완성 알고리즘—SiLRTC-TT와 TMac-TT—을 제안한다. 잘 균형 잡힌 매트리시제이션 방식을 활용함으로써 TT 랭크는 터커 랭크보다 더 나은 전반적인 텐서 구조를 포착할 수 있으며, 특히 확장된 색상 이미지와 같은 고차원 텐서에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper proposes a novel formulation of the tensor completion problem to impute missing entries of data represented by tensors. The formulation is introduced in terms of tensor train (TT) rank which can effectively capture global information of tensors thanks to its construction by a well-balanced matricization scheme. Two algorithms are proposed to solve the corresponding tensor completion problem. The first one called simple low-rank tensor completion via tensor train (SiLRTC-TT) is intimately related to minimizing the TT nuclear norm. The second one is based on a multilinear matrix factorization model to approximate the TT rank of the tensor and called tensor completion by parallel matrix factorization via tensor train (TMac-TT). These algorithms are applied to complete both synthetic and real world data tensors. Simulation results of synthetic data show that the proposed algorithms are efficient in estimating missing entries for tensors with either low Tucker rank or TT rank while Tucker-based algorithms are only comparable in the case of low Tucker rank tensors. When applied to recover color images represented by ninth-order tensors augmented from third-order ones, the proposed algorithms outperforms the Tucker-based algorithms.

연구 동기 및 목표

• 비균형적인 매트리시제이션과 작은 구성 요소 랭크 한계로 인해 터커 랭크가 전반적인 텐서 구조를 포착하는 데에 한계가 있음을 해결한다.
• 더 나은 저질서 표현을 위해 텐서 트레일(TT) 분해를 활용하는 효율적인 텐서 완성 알고리즘을 개발한다.
• 합성 텐서와 실제 시각 데이터(특히 색상 이미지)의 복구 정확도를 향상시킨다.
• 데이터 크기를 변화시키지 않은 채로 저차원 텐서를 고차원 텐서로 변환하는 케트 증강(KA) 기법을 도입하여 표현 능력을 향상시킨다.
• 증강된 텐서에 적용했을 때 TT 기반 알고리즘이 터커 기반 알고리즘보다 뛰어나게 성능을 발휘함을 입증한다. 특히 고비율 누락 상황에서 두드러진다.

제안 방법

• TT 랭크를 사용한 텐서 완성 문제를 TT 핵심 노름 최소화를 통해 볼록 대체함으로써 수식화하며, 이는 매트라이시제이션된 구성 요소 텐서의 가중 핵심 노름의 합으로 정의된다.
• SiLRTC-TT는 블록 좌표 강하 알고리즘으로, 단일 값 임계 처리를 사용해 TT 핵심 노름을 최소화하며, 행렬의 저질서 완성과 유사하다.
• TMac-TT는 비볼록 다중선형 행렬 분해 접근법으로, 고비용의 SVD 연산을 피함으로써 더 빠른 계산을 가능하게 한다.
• 3차원 색상 이미지를 9차원 텐서로 변환하기 위해 케트 증강(KA) 기법을 적용하며, 데이터를 유지하면서도 구조적 표현 능력을 향상시킨다.
• 교차 최적화를 사용해 TMac-TT 모델을 해결하며, 효율적인 랭크-1 업데이트를 통해 반복적으로 요소 행렬을 갱신한다.
• 재구성 과정에서 각 TT 코어 행렬의 기여도를 균형 있게 조절하기 위해 가중 최적화를 통합한다.

실험 결과

연구 질문

• RQ1 고차원 텐서에서 텐서 트레일(TT) 랭크가 터커 랭크보다 더 효과적인 저질서 표현을 제공할 수 있는가?
• RQ2 TT 분해에서 잘 균형 잡힌 매트리시제이션 방식이 터커의 비균형적인 방식별 매트리시제이션보다 전반적인 정보 포착 능력을 어떻게 향상시키는가?
• RQ3 SiLRTC-TT와 TMac-TT와 같은 TT 기반 알고리즘이 합성 및 실제 텐서에서 누락된 항목을 복원하는 데 있어 터커 기반 알고리즘보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 케트 증강(KA)을 통한 텐서 순서 증강이 특히 시각 데이터에서 텐서 완성 알고리즘의 성능을 향상시키는가?
• RQ5 SVD 연산을 피함으로써 TMac-TT가 SVD를 포함하는 SiLRTC-TT보다 더 낮은 계산 비용으로 유사하거나 더 높은 복구 정확도를 달성할 수 있는가?

주요 결과

• 낮은 TT 랭크를 가진 합성 텐서에서는 SiLRTC-TT와 TMac-TT가 터커 기반 알고리즘보다 유의미하게 뛰어난 성능을 보이며, 낮은 터커 랭크 상황에서는 유사한 성능을 유지한다.
• 색상 이미지 복원 상황에서 TMac-TT는 케트 증강을 통해 생성된 9차원 텐서에서 가장 우수한 성능을 기록하며, 특히 고비율 누락(예: 90% 누락 항목) 상황에서 뛰어난 성능을 발휘한다.
• 제안된 알고리즘은 증강(KA)을 적용한 결과가 증강되지 않은 경우보다 더 나은 복구 성능을 보이며, 고차원 표현의 이점을 입증한다.
• SVD 연산을 피함으로써 TMac-TT는 SiLRTC-TT보다 뛰어난 계산 효율성을 확보하여 대규모 텐서에 대해 더 스케일러블하다.
• 터커 기반 알고리즘은 증강된 9차원 텐서에서 성능이 떨어지는데, 이는 구성 요소의 최대 랭크가 작기 때문이며(실험에서 최대 4), 반면 TT 랭크 구성 요소는 최대 256까지 도달 가능하여 전반적인 구조 모델링 능력이 향상된다.
• Lenna와 House 이미지에 대한 실증 결과는 KA를 통해 텐서를 9차원으로 증강했을 때 TT 기반 방법이 터커 기반 방법보다 더 견고하고 정확한 성능을 보임을 확인한다.