[논문 리뷰] Robust Factorization and Completion of Streaming Tensor Data via Variational Bayesian Inference

Cole Hawkins, Zheng Zhang|arXiv (Cornell University)|2018. 09. 04.

Tensor decomposition and applications참고 문헌 31인용 수 6

한 줄 요약

이 논문은 실시간으로 저질서 구조와 희소 이상치를 함께 학습하며, 자동으로 텐서 질량을 결정하고 노이즈 또는 손상된 데이터에 강건하게 대응하는 변분 베이지안 스트리밍 텐서 분해 모델을 제안한다. 이 방법은 동적 MRI, 영상, 네트워크 트래픽 복원에서 기존의 최소제곱 기반 스트리밍 알고리즘보다 우수한 성능을 보이며, 소음과 큰 이상치를 효과적으로 포착하면서도 적응형 질량 선택을 통해 과적합을 방지한다.

ABSTRACT

Streaming tensor factorization is a powerful tool for processing high-volume and multi-way temporal data in Internet networks, recommender systems and image/video data analysis. In many applications the full tensor is not known, but instead received in a slice-by-slice manner over time. Streaming factorizations aim to take advantage of inherent temporal relationships in data analytics. Existing streaming tensor factorization algorithms rely on least-squares data fitting and they do not possess a mechanism for tensor rank determination. This leaves them susceptible to outliers and vulnerable to over-fitting. This paper presents the first Bayesian robust streaming tensor factorization model. Our model successfully identifies sparse outliers, automatically determines the underlying tensor rank and accurately fits low-rank structure. We implement our model in Matlab and compare it to existing algorithms. Our algorithm is applied to factorize and complete various streaming tensors including synthetic data, dynamic MRI, video sequences, and Internet traffic data.

연구 동기 및 목표

• 기존의 최소제곱 피팅과 고정된 질량 가정에 의존하는 스트리밍 텐서 분해 방법의 한계를 해결하기 위해, 이상치에 민감하고 과적합에 취약한 방법들을 개선한다.
• 스트리밍 텐서 데이터에서 저질서 성분과 희소 이상치를 동시에 식별할 수 있는 확률적 모델을 개발한다.
• 사전 지식나 설정 조정이 필요 없이 스트리밍 과정 중에 텐서 질량을 자동으로 결정할 수 있도록 한다.
• 소음과 심각한 손상 요소를 모델링하여 실세계 응용 분야인 동적 MRI, 영상 시퀀스, 네트워크 트래픽 모니터링에서 텐서 완성 정확도를 향상시킨다.
• 시간에 따라 변하는 희소성과 저질서 구조를 가진 스트리밍 텐서 데이터에 대해 변분 베이지안 추론을 확장한다.

제안 방법

• 베이지안 계층 모델을 사용하여 스트리밍 텐서를 저질서 성분과 희소 이상치 성분의 합으로 모델링한다.
• 저질서와 희소성 구조를 강제하기 위해 요인 행렬과 희소 성분에 무거운 尾(heavy-tailed) 사전 확률(예: 라플라스 또는 스트루던의 t 분포)을 사용한다.
• 숨겨진 요인의 후행 분포를 근사하기 위해 변분 베이지안 추론을 적용하여, 새로운 텐서 슬라이스가 도착할 때마다 온라인 업데이트가 가능하도록 한다.
• 기록된 장기 데이터의 계산 부담을 줄이기 위해 忘却 인자(forgetting factor)와 슬라이딩 윈도우 메커니즘을 통합한다.
• 하이퍼파rameter 최적화와 기저 텐서 질량 추론을 자동으로 수행하기 위해 변분 하한(ELBO)을 사용한다.
• MATLAB에 알고리즘을 구현하고, 합성 데이터, 동적 MRI, 영상 시퀀스, 인터넷 트래픽 데이터에서 검증한다.

실험 결과

연구 질문

• RQ1 베이지안 스트리밍 텐서 분해 모델은 실시간으로 저질서 구조와 희소 이상치를 동시에 식별할 수 있는가?
• RQ2 고정된 질량 모델에 비해 자동 텐서 질량 결정이 스트리밍 환경에서 성능을 어떻게 향상시키는가?
• RQ3 이상치와 누락 데이터가 존재하는 상황에서 제안된 방법이 최소제곱 기반 스트리밍 알고리즘보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 3D 심장 MRI나 다중모달 네트워크 트래픽과 같은 고차원 스트리밍 텐서를 효과적으로 복원할 수 있는가?
• RQ5 기록 인자와 슬라이딩 윈도우 메커니즘이 장기적인 스트리밍 응용에서 모델의 안정성과 정확성에 어떤 영향을 미치는가?

주요 결과

• 15%의 샘플이 누락된 동적 심장 MRI 데이터에서, 제안된 알고리즘이 OLSTEC 및 Online-SGD보다 유의미하게 뛰어난 성능을 보이며 소음과 큰 이상치를 모두 효과적으로 포착했다.
• 3D 다중모달 심장 MRI 데이터셋에서, 다른 방법들이 고차원 텐서를 처리하지 못하는 상황에서도 알고리즘이 50%의 누락 데이터를 가진 상태에서 텐서 복원을 성공적으로 수행했다.
• 네트워크 트래픽 모니터링에서, 적응형 질량 선택과 이상치에 대한 강건성 덕분에 50%의 누락 데이터가 존재하는 상황에서도 OLSTEC 및 Online-SGD보다 낮은 상대 예측 오차를 기록했다.
• 사전 지식 없이도 기저 텐서 질량을 자동으로 결정하여 고정 질량 접근법에서 흔히 발생하는 과적합과 과소적합을 방지했다.
• 변분 베이지안 추론 프레임워크 덕분에 모든 테스트된 스트리밍 데이터 유형(합성, 영상, MRI, 네트워크 트래픽)에서 실시간 업데이트와 안정된 성능을 달성했다.
• 슬라이딩 윈도우 크기가 20이고 μ=0.98인 忘却 인자 설정이 동적 환경에서 반응성과 안정성 사이에 좋은 균형을 이뤘다.