[논문 리뷰] Grassmannian Optimization for Online Tensor Completion and Tracking in the t-SVD Algebra.

Kyle Gilman, Laura Balzano|arXiv (Cornell University)|2020. 01. 30.

Tensor decomposition and applications참고 문헌 46인용 수 6

한 줄 요약

이 논문은 t-SVD 대수적 프레임워크 내에서 그라스만 만대안 최적화를 사용하는 스트리밍 알고리즘인 TOUCAN을 제안한다. 이 알고리즘은 그라스만 다양체 위에서의 증분 경사 하강법을 활용하여 선형 복잡도와 일정한 메모리 사용량을 달성하며, 극도로 불완전한 2차원 스트리밍 데이터로부터 저튜벌랭크 텐서를 효율적으로 복구할 수 있다. 실험적으로 시간적 화학감지 및 MRI 데이터에서 낮은 샘플링 조건 하에서도 성공적인 성능을 입증하였다.

ABSTRACT

We propose a new streaming algorithm, called TOUCAN, for the tensor completion problem of imputing missing entries of a low-tubal-rank tensor using the recently proposed tensor-tensor product (t-product) and tensor singular value decomposition (t-SVD) algebraic framework. We also demonstrate TOUCAN's ability to track changing free submodules from highly incomplete streaming 2-D data. TOUCAN uses principles from incremental gradient descent on the Grassmann manifold of subspaces to solve the tensor completion problem with linear complexity and constant memory in the number of time samples. We compare our results to state-of-the-art tensor completion algorithms in real applications to recover temporal chemo-sensing data and MRI data under limited sampling.

연구 동기 및 목표

• 스트리밍 환경에서 누락된 항목을 가진 저튜벌랭크 텐서를 완성하는 데 도전하는 것.
• 극도로 불완전한 2차원 스트리밍 데이터 스트림에서 변화하는 하위 모듈을 실시간으로 추적할 수 있도록 하는 것.
• 시간 샘플 수에 비례하여 선형 계산 복잡도와 일정한 메모리 사용량을 갖는 방법을 개발하는 것.
• 제한된 샘플링 조건 하에서 실제 시간적 화학감지 및 MRI 데이터에 대한 텐서 완성 성능을 향상시키는 것.

제안 방법

• TOUCAN은 저랭크 텐서 근사치를 최적화하기 위해 그라스만 다양체 위에서 증분 경사 하강법을 사용한다.
• 이 알고리즘은 텐서-텐서 곱(t-product)을 사용하는 t-SVD 대수적 프레임워크 내에서 작동한다.
• 과거의 텐서를 저장하지 않고 순차적으로 데이터를 처리함으로써 일정한 메모리 사용량을 유지한다.
• 텐서 특이값 분해(t-SVD)를 활용하여 저튜벌랭크 근사치를 효율적으로 계산한다.
• 그라스만 만대안 최적화를 통해 온라인 학습 중 안정적인 부분공간 갱신을 보장한다.
• 각 단계에서 전체 텐서 재계산을 피함으로써 선형 시간 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 그라스만 다양체 위에서의 증분 최적화는 일정한 메모리 사용량을 갖는 효율적인 온라인 텐서 완성에 기여할 수 있는가?
• RQ2 고도로 누락된 2차원 스트리밍 데이터에서 알고리즘이 변화하는 하위 모듈을 얼마나 잘 추적할 수 있는가?
• RQ3 실제 시간적 데이터에서 최첨단 텐서 완성 방법들과 비교해 TOUCAN의 성능은 어떠한가?
• RQ4 t-SVD 프레임워크는 스트리밍 환경에서 확장 가능하고 정확한 텐서 완성에 기여할 수 있는가?

주요 결과

• TOUCAN은 선형 계산 복잡도와 일정한 메모리 사용량을 달성하여 시간 샘플 수에 따라 효율적으로 확장된다.
• 최첨단 방법들보다 뛰어난 정확도로 극도로 불완전한 관측치로부터 시간적 화학감지 데이터를 성공적으로 복구한다.
• 엄격한 샘플링 제약 조건 하에서도 동적 하위 모듈을 추적하는 데 뛰어난 성능을 보인다.
• 제한된 샘플링 조건 하에서 MRI 데이터 복구에서 기존 방법들을 능가하는 성능을 보였다.