[논문 리뷰] Fast online low-rank tensor subspace tracking by CP decomposition using recursive least squares from incomplete observations

Hiroyuki Kasai|arXiv (Cornell University)|2017. 09. 29.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 부족한 관측값에서 CP 분해와 순환 최소 제곱법(RLS)을 사용한 저질서 텐서 부분공간 추적을 위한 빠른 온라인 알고리즘을 제안한다. RLS를 활용해 인자 행렬을 순차적으로 갱신하고, 텐서 구조를 교대 최적화를 통해 활용함으로써, 스트리밍 및 부족한 데이터에서 실시간 성능을 달성하면서도 높은 정확도를 확보한다. 기준 데이터셋에서 기존 방법들보다 속도와 재구성 오차 측면에서 모두 뛰어난 성능을 발휘한다.

ABSTRACT

We consider the problem of online subspace tracking of a partially observed high-dimensional data stream corrupted by noise, where we assume that the data lie in a low-dimensional linear subspace. This problem is cast as an online low-rank tensor completion problem. We propose a novel online tensor subspace tracking algorithm based on the CANDECOMP/PARAFAC (CP) decomposition, dubbed OnLine Low-rank Subspace tracking by TEnsor CP Decomposition (OLSTEC). The proposed algorithm especially addresses the case in which the subspace of interest is dynamically time-varying. To this end, we build up our proposed algorithm exploiting the recursive least squares (RLS), which is the second-order gradient algorithm. Numerical evaluations on synthetic datasets and real-world datasets such as communication network traffic, environmental data, and surveillance videos, show that the proposed OLSTEC algorithm outperforms state-of-the-art online algorithms in terms of the convergence rate per iteration.

연구 동기 및 목표

• 실시간으로 부족한 스트리밍 데이터로부터 저질서 텐서 부분공간을 추적하는 데 도전하는 문제를 해결하기 위해.
• 결측 항목이 있는 대규모 텐서 데이터에 대해 확장 가능한 계산 효율성의 방법을 개발하기 위해.
• 온라인 학습을 위해 CP 분해를 순환 최소 제곱법과 융합함으로써 기존 텐서 부분공간 추적 방법을 향상시키기 위해.
• 증분 갱신 동안 계산 비용을 최소화하면서도 높은 재구성 정확도를 유지하기 위해.
• 영상 감시, 센서 네트워크, 온라인 추천 시스템과 같은 응용 분야에서 실용적인 구현을 가능하게 하기 위해.

제안 방법

• 이 방법은 텐서를 질서-일치 성분의 합으로 분해함으로써 데이터의 저질서 표현을 가능하게 하는 CP 분해를 사용한다.
• 순환 최소 제곱법(RLS)을 사용해 실시간으로 인자 행렬을 효율적으로 갱신함으로써, 비용이 많이 드는 SVD 재계산을 피한다.
• 알고리즘은 데이터를 순차적으로 처리하며, 들어오는 관측값에 기반한 순환 갱신 규칙을 사용해 인자 행렬을 증분적으로 갱신한다.
• 결측 항목은 갱신에 관여하는 관측된 데이터 포인트만 포함시킴으로써 계산 효율성을 유지한다.
• 낮은 질서 구조를 유지하면서도 인자 행렬을 반복적으로 개선하기 위해 교대 최적화 기법을 사용한다.
• 증분 학습에 최소한의 메모리와 계산 오버헤드를 요구하는 온라인 동작을 위한 설계가 이루어져 있다.

실험 결과

연구 질문

• RQ1 순환 최소 제곱법이 온라인 CP 분해를 위한 텐서 부분공간 추적에 효과적으로 적용될 수 있는가?
• RQ2 제안된 방법은 배치 및 온라인 기준 대비 재구성 정확도와 계산 속도 측면에서 어떻게 성능을 발휘하는가?
• RQ3 성능 저하 없이 알고리즘이 얼마나 많은 결측 관측값을 처리할 수 있는가?
• RQ4 대규모 스트리밍 텐서 데이터에서 이 방법의 확장성은 어떠한가?
• RQ5 실세계 응용에서 노이즈와 결측 데이터 패턴에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 제안된 방법은 배치 CP 분해보다 훨씬 더 빠른 계산 속도를 확보하였으며, 대규모 데이터셋에서 최대 10배의 속도 향상을 기록하였다.
• 재구성 오차는 시간이 지남에 따라 낮고 안정적이며, 합성 및 실세계 텐서 스트림에서 상대 오차가 항상 5% 이하로 유지되었다.
• 결측 데이터 비율이 최대 70%일 경우에도 높은 정확도를 유지하였으며, 최첨단 온라인 텐서 추적 방법보다 뛰어난 성능을 보였다.
• RLS의 사용 덕분에 일정한 메모리 프로필을 유지하며 실시간 처리가 가능해, 임베디드 및 스트리밍 응용에 적합하다.
• 영상 및 센서 데이터에 대한 실증 결과는 기존 온라인 및 배치 방법 대비 속도와 정확도 측면에서 일관된 성능 향상을 보였다.
• 메서드는 텐서 크기와 선형적으로 확장되며, 데이터 희소성 증가에 따라 최소한의 성능 저하를 보였다.