[논문 리뷰] Note: low-rank tensor train completion with side information based on Riemannian optimization

Stanislav Budzinskiy, Н. Л. Замарашкин|arXiv (Cornell University)|2020. 06. 23.

Tensor decomposition and applications참고 문헌 10인용 수 4

한 줄 요약

이 논문은 모드 섬유의 부분공간 제약 조건 형태로 측정된 보조 정보를 통합한 저질서 텐서 트레이스(TT) 복원을 위한 리만 최적화 알고리즘인 RTTC-SI를 제안한다. 원래 텐서와 보조 정보 부분공간 내의 더 작은 텐서 사이의 일대일 대응을 활용하여, 표준 TT 복원보다 훨씬 적은 수의 관측된 요소로도 강력한 복원을 달성하며, 행렬 복원 이론과 유사하게 O(M log M) 단계 전이 임계값을 보여준다.

ABSTRACT

We consider the low-rank tensor train completion problem when additional side information is available in the form of subspaces that contain the mode-$k$ fiber spans. We propose an algorithm based on Riemannian optimization to solve the problem. Numerical experiments show that the proposed algorithm requires far fewer known entries to recover the tensor compared to standard tensor train completion methods.

연구 동기 및 목표

• 모드-k 섬유의 스칼라 부분공간에 의해 제약되는 보조 정보가 존재할 경우 저질서 텐서 트레이스 복원 문제를 해결하기 위해.
• 이 보조 정보를 활용하여 필요한 관측된 텐서 요소의 수를 줄이는 리만 최적화 기반 알고리즘을 개발하기 위해.
• 보조 정보가 텐서 복원의 단계 전이 행동에 어떻게 영향을 미치는지 분석하기 위해, 특히 성공적인 복원을 위한 관측된 요소의 임계값을 중심으로.
• 특히 샘플 복잡도 측면에서 기존의 보조 정보가 있는 행렬 복원 결과를 텐서 트레이스 형식으로 확장하기 위해.

제안 방법

• 측정된 정보 행렬 Q_k에 의해 정의된 직교 투영을 통해 원래 텐서 복원 문제를 더 작은 텐서 공간으로 매핑하여 가용 집합을 N_r(Q)로 변환한다.
• 감소된 공간 내의 낮은 질서 TT 텐서의 다양체 위에서 최소화하는 최소 제곱 목적 함수를 설정하며, 변환 X = QY를 사용한다.
• 더 작은 공간 내의 낮은 질서 TT 텐서의 다양체 M_r 상에서 리만 기울기 하강법을 사용한 리만 최적화를 적용하며, 재구성과 벡터 이동을 포함한다.
• 유럽 기울기의 탄성 공간에 대한 투영을 통해 리만 기울기를 계산하며, 이는 보조 정보 제약 조건에 적응된 것이다.
• TT-SVD 기반의 재구성 기법을 사용하여, 부분공간 제약 조건을 유지하고 가용 집합 내 수렴을 보장한다.
• 이 알고리즘인 RTTC-SI는 RTTC의 계산 효율성을 그대로 유지하면서도 보조 정보를 고려하여 개선되어 더 빠르고 강건한 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 제약된 모드-k 섬유 부분공간 형태의 보조 정보가 저질서 텐서 트레이스 복원에 필요한 관측된 요소의 수를 줄일 수 있는가?
• RQ2 리만 최적화를 통해 보조 정보를 통합하면 이론적 최소값에 가까운 단계 전이 임계값, 예를 들어 O(M log M)에 가까운가?
• RQ3 보조 정보가 존재하지만 활용되지 않을 경우, RTTC-SI 알고리즘의 성능은 표준 RTTC와 어떻게 비교되는가?
• RQ4 일부 모드에 대해서만 보조 정보가 제공될 경우(부분적 보조 정보), 복원 임계값에 어떤 영향을 미치는가?

주요 결과

• RTTC-SI는 표준 RTTC보다 훨씬 적은 관측된 요소로도 성공적인 텐서 복원을 달성하며, 특히 표준 방법의 일반적인 임계값 이하의 알려진 요소 수가 존재할 때도 마찬가지다.
• RTTC-SI의 단계 전이는 |Ω| = O(M log M)에서 발생하며, 보조 정보가 있는 행렬 복원에서 관찰된 이론적 한계와 일치한다.
• 수치 실험 결과, 보조 정보를 사용할 경우 수렴에 필요한 관측된 요소의 수가 원래 텐서 차원 N과 무관함을 보여준다.
• 보조 정보가 일부 모드에 대해서만 제공될 경우, 제약 조건이 없는 모드의 수가 많아질수록 복원 임계값이 증가하지만, 여전히 표준 TT 복원보다 훨씬 낮다.
• 희소 데이터 조건에서도 알고리즘이 강건하고 수렴을 유지함을 단계도표를 통해 입증하였으며, 낮은 표본 비율에서 실패에서 성공으로의 급격한 전이가 관찰된다.
• 초기 근사값이 보조 정보를 충족하더라도 RTTC-SI 알고리즘이 표준 RTTC를 능가함을 입증하였으며, 최적화 방법이 제약 조건을 효과적으로 활용함을 보여준다.