[논문 리뷰] Fast and Accurate Tensor Completion with Tensor Trains: A System Identification Approach.

Ching Yun Ko, Kim Batselier외 2명|arXiv (Cornell University)|2018. 04. 17.

Tensor decomposition and applications인용 수 7

한 줄 요약

이 논문은 시스템 식별 문제로 간주함으로써 빠르고 정확한 텐서 완성 방법을 제안한다. 여기서 텐서 트레인 형식을 사용하고, 반복적으로 개선되는 저질서 핵을 교대 선형 기법을 통해 최적화한다. 이 방법은 최신 기술 대비 최대 23배 빠른 성능을 달성하면서도 유사한 정확도를 유지한다.

ABSTRACT

We propose a novel tensor completion approach by equating it to a system identification task. The key is to regard the coordinates and values of the known entries as inputs and outputs, respectively. By assuming a tensor train format initialized with low-rank tensor cores, the latter are iteratively identified via a simple alternating linear scheme to reduce residuals. Experiments verify the superiority of the proposed scheme in terms of both speed and accuracy, where a speedup of up to 23$ imes$ is observed compared to state-of-the-art tensor completion methods at a similar accuracy.

연구 동기 및 목표

• 대규모 텐서에 대해 기존 텐서 완성 방법의 계산 속도가 느린 문제를 해결하기 위해.
• 시스템 식별 원리를 활용하여 텐서 완성의 효율성과 정확도를 향상시키기 위해.
• 텐서 크기와 희박성에 따라 잘 스케일링되면서도 저질서 핵의 구조를 유지하기 위해.
• 재구성 품질을 희생시키지 않고도 계산 시간을 줄이기 위해.

제안 방법

• 알려진 텐서 요소의 좌표를 입력으로, 그 값들을 출력으로 간주하여 문제를 시스템 식별 과제로 모델링한다.
• 기저 구조로 저질서 텐서 코어를 가진 텐서 트레인(TT) 형식을 가정한다.
• 예측값과 알려진 값 간 잔차 오차를 최소화하기 위해, 반복적으로 코어를 업데이트하는 교대 선형 기법을 사용한다.
• 빠른 수렴을 보장하기 위해, TT 형식의 초기화는 저질서 근사법을 사용하여 수행된다.
• 알고리즘은 다른 코어를 고정한 채 한 코어만 최적화하는 방식으로 번갈아가며, 전체 최적화 문제를 선형 부분문제의 시퀀스로 줄인다.

실험 결과

연구 질문

• RQ1 텐서 완성 문제를 효과적으로 시스템 식별 문제로 재정의할 수 있는가?
• RQ2 제안된 시스템 식별 접근법은 기존 텐서 완성 방법 대비 속도와 정확도에서 어떻게 비교되는가?
• RQ3 반복적인 코어 개선을 통한 텐서 트레인 형식이 계산 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 대규모 또는 희박한 텐서에서 빠른 성능 향상을 달성하면서도 높은 정확도를 유지하는가?

주요 결과

• 제안된 방법은 최신 기술 대비 유사한 정확도 수준에서 최대 23배 빠른 성능을 달성한다.
• 이 방법은 대규모 및 희박한 텐서 데이터셋에서도 높은 재구성 정확도를 유지한다.
• 코어 개선을 위한 교대 선형 기법은 빠르게 수렴하여 전체적인 성능 향상에 기여한다.
• 텐서 트레인 형식의 사용은 고차원 텐서에 특히 효율적인 표현과 계산을 가능하게 한다.