[논문 리뷰] Variational Bayesian Inference for Robust Streaming Tensor Factorization and Completion

Cole Hawkins, Zheng Zhang|arXiv (Cornell University)|2018. 09. 06.

Tensor decomposition and applications참고 문헌 23인용 수 7

한 줄 요약

이 논문은 실시간으로 낮은 질서의 구조를 적합하고, 희박한 이상치를 동시에 식별하며, 자동으로 텐서 질서를 결정하는 강력한 스트리밍 텐서 분해 및 완성에 대한 변분 베이지안 추론 프레임워크를 제안한다. 스트리밍 텐서를 낮은 질서 성분과 희박한 성분의 합으로 모델링하고 쌍대 사전확률을 적용함으로써, 동적 MRI 및 네트워크 트래픽 데이터에서 기존의 스트리밍 알고리즘보다 뛰어난 정확도와 강건성을 달성한다.

ABSTRACT

Streaming tensor factorization is a powerful tool for processing high-volume and multi-way temporal data in Internet networks, recommender systems and image/video data analysis. Existing streaming tensor factorization algorithms rely on least-squares data fitting and they do not possess a mechanism for tensor rank determination. This leaves them susceptible to outliers and vulnerable to over-fitting. This paper presents a Bayesian robust streaming tensor factorization model to identify sparse outliers, automatically determine the underlying tensor rank and accurately fit low-rank structure. We implement our model in Matlab and compare it with existing algorithms on tensor datasets generated from dynamic MRI and Internet traffic.

연구 동기 및 목표

• 고정된 질서 가정에 의존하고 최소 제곱법을 사용하는 기존의 스트리밍 텐서 분해 방법의 한계를 해결하여 이상치에 민감하고 과적합의 위험이 있는 문제를 해결한다.
• 스트리밍 과정에서 자동으로 텐서 질서를 결정할 수 있도록 한다. 수동적인 질서 선택이 필요 없어진다.
• 베이지안 계층적 모델을 사용하여 스트리밍 다중 방향 데이터에서 낮은 질서의 구조와 희박한 이상치를 동시에 모델링한다.
• 노이즈가 많거나 일부 데이터가 누락된 조건에서도 텐서 완성 및 분해 작업의 강건성과 정확도를 향상시킨다.
• 의료 영상 및 네트워크 모니터링과 같은 동적 시스템에서 실시간 응용에 적합한 확장 가능한 온라인 추론 프레임워크를 개발한다.

제안 방법

• CP 분해 프레임워크를 사용하여 스트리밍 텐서를 낮은 질서 성분과 시간에 따라 변하는 희박한 성분의 합으로 모델링한다.
• 소음 정밀도와 성분 분산에 대해 역감마분포와 감마분포를 사용한 계층적 베이지안 사전확률을 적용하여 자동으로 질서 추정이 가능하도록 한다.
• 변분 베이지안 추론을 사용하여 잠재 요인에 대한 사후분포를 근사함으로써, 슬라이딩 윈도우와 잊혀짐 계수를 활용한 온라인 업데이트를 가능하게 한다.
• 신규 데이터가 도착함에 따라 적응적으로 요인 추정치를 갱신하기 위해 감쇠 계수 μ = 0.98를 갖는 잊혀짐 메커니즘을 통합한다.
• 평균장 근사법을 사용하여 요인 행렬, 소음 정밀도, 희박성 파라미터의 사후분포에 대한 폐쇄형 업데이트 식을 유도한다.
• MATLAB에서 알고리즘을 구현하였으며, 슬라이딩 윈도우 크기를 20으로 설정하고, 효율적인 텐서 재구성에 일반화된 내적곱과 카트리-라오 곱을 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 스트리밍 텐서 분해 모델은 사전 지식 없이도 기저의 텐서 질서를 자동으로 결정할 수 있는가?
• RQ2 희박한 성분을 포함함으로써, 기존의 표준 최소 제곱법 대비 스트리밍 텐서 데이터에서 이상치에 대한 강건성이 어떻게 향상되는가?
• RQ3 제안된 방법은 재구성 및 분해 정확도 측면에서 기존의 스트리밍 텐서 분해 알고리즘보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 모델은 부분적으로 관측된 또는 누락된 스트리밍 텐서 데이터를 효과적으로 처리하면서도 낮은 질서의 구조를 유지하고 이상치를 탐지할 수 있는가?
• RQ5 잊혀짐 계수는 동적 환경에서 알고리즘의 적응성과 성능에 어떤 영향을 미치는가?

주요 결과

• Abilene 네트워크 트래픽 데이터셋에서, 제안된 방법은 OLSTEC 및 Online-SGD보다 요인 분해 오차에서 뛰어난 성능을 보이며, 10프레임의 예열 기간 이후 상대 예측 오차가 낮아졌다.
• 15%의 무작위 샘플링이 적용된 동적 심장 MRI 데이터에서, 모델은 노이즈와 큰 크기의 이상치를 모두 포착함으로써 OLSTEC 및 Online-SGD보다 더 정확하게 영상을 재구성하였다.
• Abilene 데이터셋에서 50%의 항목이 누락된 상황에서도 알고리즘이 낮은 재구성 오차를 유지하여, 고도로 손실된 데이터에서의 완성 작업에 대한 강건성을 입증하였다.
• 의료 영상 및 네트워크 트래픽 데이터 양쪽에서 희박한 이상치를 성공적으로 식별하였으며, 이는 DDoS 공격이나 의료 영상의 아티팩트와 같은 이상 탐지에 핵심적이다.
• 변분 베이지안 프레임워크를 통해 자동으로 질서 결정이 이루어져 수동 조정이 필요 없고 과적합 위험도 감소시켰다.
• 감쇠 계수(μ = 0.98)의 사용으로 인해 알고리즘이 스트리밍 데이터의 시간적 변화에 적응할 수 있었으며, 안정성과 정확도를 유지하였다.