[논문 리뷰] High-dimension Tensor Completion via Gradient-based Optimization Under Tensor-train Format

Longhao Yuan. Qibin Zhao, Zhao, Qibin외 2명|arXiv (Cornell University)|2018. 04. 05.

Tensor decomposition and applications참고 문헌 30인용 수 12

한 줄 요약

이 논문은 텐서트레이스(TT) 분해를 이용한 고차원 텐서 완성에 대해 두 가지 기울기 기반 최적화 방법—TT-WOPT와 TT-SGD—을 제안한다. 텐서 완성을 저질서 TT 최적화 문제로 재정의하고 효율적인 기울기 하강법을 활용함으로써, 특히 시각적 데이터 표현을 향상시키기 위해 시각적 데이터 텐서화(VDT)를 결합할 경우, 고차원, 고결손률, 대규모 텐서 환경에서 뛰어난 성능을 달성한다.

ABSTRACT

Tensor train (TT) decomposition has drawn people's attention due to its powerful representation ability and performance stability in high-order tensors. In this paper, we propose a novel approach to recover the missing entries of incomplete data represented by higher-order tensors. We attempt to find the low-rank TT decomposition of the incomplete data which captures the latent features of the whole data and then reconstruct the missing entries. By applying gradient descent algorithms, tensor completion problem is efficiently solved by optimization models. We propose two TT-based algorithms: Tensor Train Weighted Optimization (TT-WOPT) and Tensor Train Stochastic Gradient Descent (TT-SGD) to optimize TT decomposition factors. In addition, a method named Visual Data Tensorization (VDT) is proposed to transform visual data into higher-order tensors, resulting in the performance improvement of our algorithms. The experiments in synthetic data and visual data show high efficiency and performance of our algorithms compared to the state-of-the-art completion algorithms, especially in high-order, high missing rate, and large-scale tensor completion situations.

연구 동기 및 목표

• 기존의 CP 및 터커 분해 방법이 성능이 저하되는 상황에서, 특히 결손 데이터가 존재하는 고차원 텐서 완성 문제를 해결한다.
• 텐서트레이스(TT) 분해의 안정성과 선형 스케일러빌리티를 활용하여, 고차원 및 고결손률 상황에서 기존 텐서 완성 방법의 한계를 극복한다.
• 결손 데이터로부터 직접 TT 분해 요소를 학습하기 위해 기울기 하강법을 활용하는 효율적인 최적화 알고리즘을 개발한다.
• 이미지 및 영상에 대한 새로운 고차원 텐서화 방법인 시각적 데이터 텐서화(VDT)를 도입하여 시각적 데이터 복구 성능을 향상시킨다.
• 극도의 결손률 조건에서 합성 데이터, 영상, 고스펙트럼 영상(HSI) 완성 작업 전반에 걸쳐 제안된 방법의 강건성과 효율성을 입증한다.

제안 방법

• TT 코어 텐서에서 가중 최소 제곱(WLS) 목적 함수를 최소화하는 방식으로 텐서 완성을 저질서 TT 분해 문제로 재정의한다.
• 기울기 하강법을 적용하여 반복적으로 TT 코어 텐서를 업데이트하며, 전체 배치 최적화를 위해 TT-WOPT를, 확률적 기울기 하강법을 통해 확장성을 향상시키기 위해 TT-SGD를 사용한다.
• 2D/3D 시각적 데이터(예: 이미지, 영상)를 고차원 텐서(예: 영상의 경우 5차원)로 변환하기 위해 시각적 데이터 텐서화(VDT)를 도입하여 공간적 및 시간적 구조를 유지함으로써 더 나은 표현을 확보한다.
• 모델 복잡도를 제어하고 과적합을 방지하기 위해 TT-랭크 정규화를 사용하며, 경험적 성능에 기반해 랭크를 수작업으로 선택한다.
• TT-SGD에서 적응형 학습률 전략을 구현하여 수렴 속도를 가속화하고 계산 비용을 절감한다.
• 고결손률 조건에서 저질서 근사와 일반화 성능을 향상시키기 위해 TT 펼침에 핵심 노름 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 기존의 CP 및 터커 기반 방법과 비교해 볼 때, 기울기 기반 최적화를 TT 분해에 적용하여 고차원 텐서의 결손 항목을 효과적으로 복원할 수 있는가?
• RQ2 제안된 TT-WOPT 및 TT-SGD 알고리즘이 다양한 텐서 순서와 결손률 조건에서 정확도 및 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 시각적 데이터 텐서화(VDT)는 시각적 데이터에서 TT 기반 텐서 완성의 성능을 어느 정도 향상시키는가?
• RQ4 최신 기술 알고리즘이 실패하는 극도의 결손률(예: 99%) 조건에서도 제안된 방법이 처리할 수 있는가?
• RQ5 대규모 텐서 완성 작업에서 TT-ALS, CP-WOPT, HaLRTC와 같은 대안 알고리즘과 비교해 TT-SGD의 계산 효율성은 어떠한가?

주요 결과

• 영상 완성에서 99%의 무작위 결손률 조건 하에서 TT-SGD는 가장 낮은 재구성 오차(RSE = 0.2185)와 가장 높은 PSNR(19.24)를 기록하며 모든 베이스라인을 압도한다.
• 1250만 개 요소를 가진 고스펙트럼 영상에서 100만 번의 반복 조건 하에서도 TT-SGD는 700초 이내에 수렴함으로써 높은 계산 효율성을 입증한다.
• 고스펙트럼 영상 완성에서 TT-SGD는 99%의 무작위 결손률 조건에서도 성공적으로 데이터를 복원하지만, HaLRTC는 완전히 실패하고 CP-WOPT/FBCP는 상당히 낮은 성능을 보인다.
• VDT와 TT 기반 방법의 조합은 특히 고차원 텐서화 조건에서 구조적 정보의 보존이 향상되어 시각적 데이터에서 성능 향상을 이룬다.
• TT-WOPT와 TT-SGD는 CP 및 터커 기반 방법과 달리 증가하는 텐서 순서에 걸쳐 안정적인 성능을 유지한다.
• TT-ALS(70% 결손률 조건에서 7100.43초 대비 680.94초)보다 TT-SGD가 더 빠른 수렴 속도와 낮은 시간 비용을 기록하여 대규모 환경에서의 효율성을 확인한다.