[논문 리뷰] Robust Factorization of Real-world Tensor Streams with Patterns, Missing Values, and Outliers

Dongjin Lee, Kijung Shin|arXiv (Cornell University)|2021. 02. 16.

Tensor decomposition and applications참고 문헌 44인용 수 10

한 줄 요약

SOFIA는 결손치와 이상치가 있는 실시간 스트리밍 데이터를 위한 온라인, 강건한 텐서 분해 방법이다. 선형 시간 내에 텐서 분해, 이상치 탐지, 계절 패턴 인식을 통합하여, 최신 기술 대비 최대 76% 낮은 보간 오차와 71% 낮은 예측 오차를 달성하면서도 최대 935배 빠르며 데이터량에 따라 선형적으로 확장 가능하다.

ABSTRACT

Consider multiple seasonal time series being collected in real-time, in the form of a tensor stream. Real-world tensor streams often include missing entries (e.g., due to network disconnection) and at the same time unexpected outliers (e.g., due to system errors). Given such a real-world tensor stream, how can we estimate missing entries and predict future evolution accurately in real-time? In this work, we answer this question by introducing SOFIA, a robust factorization method for real-world tensor streams. In a nutshell, SOFIA smoothly and tightly integrates tensor factorization, outlier removal, and temporal-pattern detection, which naturally reinforce each other. Moreover, SOFIA integrates them in linear time, in an online manner, despite the presence of missing entries. We experimentally show that SOFIA is (a) robust and accurate: yielding up to 76% lower imputation error and 71% lower forecasting error; (b) fast: up to 935X faster than the second-most accurate competitor; and (c) scalable: scaling linearly with the number of new entries per time step.

연구 동기 및 목표

• 실제 텐서 스트림에서 결손치와 이상치가 존재하는 환경에서 정확한 보간과 미래 값 예측을 수행하는 도전 과제를 해결하기 위해.
• 배치 재처리가 필요 없이 스트리밍 텐서 데이터를 순차적으로 처리하는 온라인, 확장 가능한 알고리즘을 개발하기 위해.
• 텐서 분해, 이상치 탐지, 시간 패턴 인식을 통합하여 각 구성 요소의 성능를 향상시키는 방식으로 설계하기 위해.
• 실시간 응용 프로그램에서 높은 정확도와 낮은 계산 비용을 유지하면서도 이상치와 결손치에 강건한 성능을 확보하기 위해.
• 새로운 항목 수에 대해 선형 확장 가능성을 확보하여 대규모 스트리밍 시스템에 구현 가능하게 하기 위해.

제안 방법

• SOFIA는 수정된 저랭크 분해 프레임워크를 사용하여 CP 분해를 확장하여 스트리밍 텐서에서 계절적 및 점진적인 시간 패턴을 모델링한다.
• 신규 텐서 항목이 도착함에 따라 인자 행렬을 순차적으로 업데이트하는 온라인 최적화 전략을 사용하여 시간 단위 복잡도가 선형이 되도록 보장한다.
• 극단적인 값의 영향을 감소시키기 위해 로버스트 손실 함수(예: Huber 또는 L1)를 사용하여 이상치 탐지를 분해 과정 내부에 통합한다.
• 학습된 잠재 성분을 활용하는 헐트-윈터스 기반의 예측 구성 요소를 사용하여 계절성과 추세와 같은 시간 패턴을 명시적으로 모델링한다.
• 통합된 엔드 투 엔드 미분 가능 프레임워크 내에서 저랭크 구조, 이상치 억제, 패턴 탐지의 공동 최적화를 수행한다.
• 초기화 및 파라미터 업데이트를 스트리밍 방식으로 수행하여 재계산을 방지하고 실시간 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 온라인 알고리즘이 실시간 스트리밍 텐서 데이터에서 결손치, 이상치, 시간 패턴을 동시에 높은 정확도와 낮은 지연으로 처리할 수 있는가?
• RQ2 텐서 분해, 이상치 탐지, 패턴 인식의 통합이 고립된 접근 방식에 비해 보간 및 예측 성능을 얼마나 향상시키는가?
• RQ3 실제 스트리밍 환경에서 데이터 양과 시간 단위 당 항목 수가 증가함에 따라 SOFIA의 확장성은 어느 정도인가?
• RQ4 결손치와 이상치가 존재하는 현실적인 조건에서 SOFIA는 최신 기술의 배치 및 온라인 텐서 분해 방법과 비교해 정확도와 속도에서 어떤가?
• RQ5 시간이 지남에 따라 결손 항목 비율이 증가하더라도 SOFIA는 높은 예측 정확도를 유지할 수 있는가?

주요 결과

• SOFIA는 네 개의 실제 데이터셋에서 두 번째로 정확도가 높은 경쟁자 대비 최대 76% 낮은 보간 오차를 달성한다.
• SOFIA는 높은 이상치와 결손치 조건에서도 가장 성능이 뛰어난 경쟁자 대비 최대 71% 낮은 예측 오차를 기록한다.
• SOFIA는 두 번째로 정확도가 높은 방법 대비 최대 935배 빠른 처리 속도를 확보하여 실시간 응용에 적합하다.
• SOFIA는 시간 단위 당 새로운 항목 수에 대해 선형적으로 확장되며, 이전에 처리된 부분 텐서의 수와 관계없이 시간 단위당 일정한 처리 시간을 유지한다.
• SOFIA는 다양한 결손 데이터 비율을 가진 데이터셋에서 일관된 성능을 유지하지만, 완전한 데이터에 의존하는 경쟁자들은 결손이 발생할수록 성능이 크게 떨어진다.
• SOFIA는 SMF와 CPHW보다 느리지만, 이상치에 강건하고 결손치를 처리할 수 있는 능력 덕분에 정확도에서 승리한다. 이는 해당 방법들이 결여한 특성들이다.