[논문 리뷰] Efficient Low Rank Tensor Ring Completion

Wenqi Wang, Vaneet Aggarwal외 1명|arXiv (Cornell University)|2017. 07. 23.

Tensor decomposition and applications참고 문헌 11인용 수 4

한 줄 요약

이 논문은 저랭크 텐서링크(TR) 복원을 위한 효율적인 교대 최소화 알고리즘을 제안하며, 행렬 곱 상태(MPS) 표현을 활용하고 스펙트럴 초기화와 최소 제곱 하위 문제를 적용한다. TR의 향상된 표현력과 순열 불변 구조 덕분에 이미지 및 영상 데이터셋에서 텐서 트레일(TT) 복원보다 뛰어난 성능을 보인다.

ABSTRACT

Using the matrix product state (MPS) representation of the recently proposed tensor ring decompositions, in this paper we propose a tensor completion algorithm, which is an alternating minimization algorithm that alternates over the factors in the MPS representation. This development is motivated in part by the success of matrix completion algorithms that alternate over the (low-rank) factors. In this paper, we propose a spectral initialization for the tensor ring completion algorithm and analyze the computational complexity of the proposed algorithm. We numerically compare it with existing methods that employ a low rank tensor train approximation for data completion and show that our method outperforms the existing ones for a variety of real computer vision settings, and thus demonstrate the improved expressive power of tensor ring as compared to tensor train.

연구 동기 및 목표

• 텐서 트레일(TT) 분해의 데이터 복원에서의 한계, 즉 랭크 제약과 순서에 민감한 비순열 불변 구조를 해결하기 위해.
• TR의 순환성과 순열 불변 성질을 활용하여 더 나은 데이터 표현을 위한 새로운 텐서 링크(TR) 복원 알고리즘을 개발하기 위해.
• 계산 복잡도를 줄이기 위해 스펙트럴 초기화 및 효율적인 최소 제곱 하위 문제 설정을 제공하기 위해.
• 실세계 컴퓨터 비전 데이터셋에서 제안된 방법을 경험적으로 검증하여 기존 TT 기반 방법보다 향상된 복원 정확도를 보여주기 위해.

제안 방법

• 알고리즘은 텐서 링크 분해의 행렬 곱 상태(MPS) 표현에서 저랭크 요소들에 대해 교대 최소화를 수행한다.
• 스펙트럴 초기화를 제안하며, [10]에서 제시한 TT 근사 방법을 결측 데이터가 0으로 채워진 경우로 확장한다.
• 교대 최소화의 각 하위 문제는 최소 제곱 문제로 재구성되어 계산 효율성이 크게 향상된다.
• TR 분해에서 트레이스 연산을 활용하여 코어의 순환 이동을 가능하게 하여 구조적 유연성을 향상시킨다.
• 낮은 랭크 가정 하에 TR 요소에 대한 최적화를 통해 결측 항목을 해결함으로써 불완전한 데이터를 처리한다.
• 계산 및 저장 복잡도를 분석하여 텐서 크기와 랭크에 대해 유리한 스케일링을 보여준다.

실험 결과

연구 질문

• RQ1 TR 요소에 대한 교대 최소화 알고리즘이 기존 TT 기반 방법보다 더 나은 텐서 복원 성능을 달성할 수 있는가?
• RQ2 스펙트럴 초기화는 랜덤 또는 히우리스틱 초기화에 비해 TR 복원에서 수렴 속도와 정확도를 어떻게 향상시키는가?
• RQ3 TR의 순열 불변 구조는 순서에 민감하고 랭크 제약이 있는 TT 형식에 비해 데이터 복원에 얼마나 기여하는가?
• RQ4 최소 제곱 하위 문제를 사용한 교대 최소화를 통한 TR 복원의 계산 복잡도는 얼마인가?
• RQ5 제안된 방법은 이미지 및 영상 복원과 같은 실세계 컴퓨터 비전 작업에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 TR 복원 알고리즘이 아인슈타인의 이미지, 확장된 YaleFace 데이터셋 B, 고속 영상 데이터셋에서 기존 텐서 트레일(TT) 복원 방법보다 뛰어난 성능을 보였다.
• 텐서 링크 분해를 사용함으로써, 경계 요소에 대한 랭크 제약이 없고 표현력이 뛰어나기 때문에 TT보다 더 나은 데이터 복원이 가능하다.
• 스펙트럴 초기화는 표준 초기화 전략에 비해 수렴 속도와 최종 복원 정확도를 크게 향상시켰다.
• 하위 문제를 최소 제곱 문제로 재구성함으로써 반복당 계산 복잡도가 감소하여 더 큰 텐서에 대한 확장성이 향상되었다.
• 시험된 데이터셋에서 PSNR 및 SSIM 측정치에서 최신 기술 수준의 성능을 달성하여, 복원 작업에서 TR이 TT보다 열등하지 않음을 입증했다.