[논문 리뷰] NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient Descent

Ali Anaissi, Basem Suleiman외 1명|arXiv (Cornell University)|2020. 03. 18.

Tensor decomposition and applications참고 문헌 28인용 수 5

한 줄 요약

NeCPD는 Nesterov 가속화와 변동 기반 안장점 회피를 통한 온라인 CP 텐서 분해 방법을 제안하며, 확률적 경사 하강법(SGD)을 사용하여 전역 수렴성과 최적의 $ O(1/T^2) $ 수렴 속도를 보장한다. 구조적 건강 모니터링 데이터셋에서 평가한 결과, 기존의 온라인 및 오프라인 방법에 비해 더 높은 정확도, 안정성, 손상 국소화 성능을 확보하였다.

ABSTRACT

Multi-way data analysis has become an essential tool for capturing underlying structures in higher-order datasets stored in tensor $\mathcal{X} \in \mathbb{R} ^{I_1 imes \dots imes I_N} $. $CANDECOMP/PARAFAC$ (CP) decomposition has been extensively studied and applied to approximate $\mathcal{X}$ by $N$ loading matrices $A^{(1)}, \dots, A^{(N)}$ where $N$ represents the order of the tensor. We propose a new efficient CP decomposition solver named NeCPD for non-convex problem in multi-way online data based on stochastic gradient descent (SGD) algorithm. SGD is very useful in online setting since it allows us to update $\mathcal{X}^{(t+1)}$ in one single step. In terms of global convergence, it is well known that SGD stuck in many saddle points when it deals with non-convex problems. We study the Hessian matrix to identify theses saddle points, and then try to escape them using the perturbation approach which adds little noise to the gradient update step. We further apply Nesterov's Accelerated Gradient (NAG) method in SGD algorithm to optimally accelerate the convergence rate and compensate Hessian computational delay time per epoch. Experimental evaluation in the field of structural health monitoring using laboratory-based and real-life structural datasets show that our method provides more accurate results compared with existing online tensor analysis methods.

연구 동기 및 목표

• 배치 CP 분해의 한계를 온라인, 고속도, 비정상적인 다차원 데이터 환경에서 해결하기 위해.
• 기존의 온라인 SGD 기반 CP 분해 방법에서의 느린 수렴성 및 수렴 불가 문제를 극복하기 위해.
• 비볼록 텐서 분해에서 안장점을 탐지하고 회피하여 전역 수렴성을 보장하기 위해.
• 온라인 SGD 프레임워크 내에서 Nesterov의 가속 경사 방법을 활용하여 수렴 속도를 가속화하기 위해.
• 텐서 기반 이상 탐지 기반으로 실시간 손상 탐지, 국소화 및 심각도 평가를 가능하게 하기 위해.

제안 방법

• NeCPD는 온라인 CP 분해를 위해 확률적 경사 하강법(SGD)을 사용하며, 새로운 데이터 배치가 들어올 때마다 단일 스텝으로 텐서 분해를 업데이트한다.
• 최적의 수렴 속도 $ O(1/T^2) $ 를 달성하기 위해 Nesterov의 가속 경사(NAG)를 통합하여 표준 SGD의 $ O(1/T) $ 수렴 속도를 초월한다.
• 안장점을 벗어나기 위해 경사 하강 업데이트 단계에 작은 노이즈를 추가하는 변동 기반 접근법을 적용하여 전역 수렴성을 향상시킨다.
• 최적화 과정에서 안장점을 탐지하고 도움이 되는 방향을 안내하기 위해 헤시안 행렬을 모델링한다.
• 이전의 온라인 방법(예: onlineCP)의 한계를 극복하기 위해, 시간적 요소가 아닌 모드를 포함한 모든 요인 행렬을 점진적으로 업데이트한다.
• NeCPD는 이상 탐지에 일종의 SVM을 결합하여, 위치 행렬의 k-최근접 이웃 분석을 통해 손상 심각도 추정 및 국소화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비볼록 환경에서 온라인 CP 분해를 효율적이고 전역 수렴 가능한 방식으로 구현할 수 있는가?
• RQ2 비볼록 텐서 최적화에서 안장점을 효과적으로 탐지하고 벗어나는 방법은 무엇인가?
• RQ3 Nesterov의 가속화는 계산 오버헤드를 증가시키지 않으면서도 온라인 텐서 분해의 수렴 속도를 향상시킬 수 있는가?
• RQ4 NeCPD는 기존의 온라인 및 오프라인 방법에 비해 실제 구조적 건강 모니터링 작업에서 어떻게 성능을 발휘하는가?
• RQ5 NeCPD는 점진적 업데이트를 통해 다중 센서 구조 데이터에서 손상을 성공적으로 국소화할 수 있는가?

주요 결과

• 7개 건물 데이터셋에서 NeCPD는 F-스코어 95±0.01을 기록하여, SALS 기반 일종의 SVM(91±0.00)을 능가하였다.
• 교량 데이터셋에서 NeCPD는 위치 행렬의 k-최근접 이웃 분석을 통해 손상을 성공적으로 국소화하였으며, 손상 위치에서 센서 A10과 A14가 뚜렷한 행동을 보였다.
• NeCPD 출력에 기반한 일종의 SVM의 결정 값은 손상 심각도 추세를 잘 반영하였으며, 낮은 값일수록 더 심각한 손상을 의미하였다.
• NeCPD는 SALS보다 손상 국소화 성능에서 뛰어났으며, SALS는 위치 행렬 $ B $ 를 점진적으로 업데이트하지 못했다.
• 실험실 기반 및 실제 구조 데이터셋 모두에서 NeCPD는 안정적이고 빠른 수렴을 보였으며, 온라인 환경에서의 강건성을 확인하였다.
• NeCPD의 변동 기반 안장점 회피 메커니즘이 비볼록 최적화에서 수렴을 효과적으로 향상시켰으며, 다양한 데이터셋에서 일관된 성능을 보였다.