[論文レビュー] NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient Descent

Ali Anaissi, Basem Suleiman+1 more|arXiv (Cornell University)|Mar 18, 2020

Tensor decomposition and applications参考文献 28被引用数 5

ひとこと要約

NeCPDは、Nesterov加速を施した確率的勾配降下法（SGD）と摂動に基づく鞍点脱出を用いて、グローバル収束と最適な$ O(1/T^2) $収束速度を保証するオンラインCPテンソル分解手法を提案する。構造健全性モニタリングデータセット上で評価した結果、従来のオンラインおよびオフライン手法と比較して、高い精度、安定性、および損傷局所化性能を達成した。

ABSTRACT

Multi-way data analysis has become an essential tool for capturing underlying structures in higher-order datasets stored in tensor $\mathcal{X} \in \mathbb{R} ^{I_1 imes \dots imes I_N} $. $CANDECOMP/PARAFAC$ (CP) decomposition has been extensively studied and applied to approximate $\mathcal{X}$ by $N$ loading matrices $A^{(1)}, \dots, A^{(N)}$ where $N$ represents the order of the tensor. We propose a new efficient CP decomposition solver named NeCPD for non-convex problem in multi-way online data based on stochastic gradient descent (SGD) algorithm. SGD is very useful in online setting since it allows us to update $\mathcal{X}^{(t+1)}$ in one single step. In terms of global convergence, it is well known that SGD stuck in many saddle points when it deals with non-convex problems. We study the Hessian matrix to identify theses saddle points, and then try to escape them using the perturbation approach which adds little noise to the gradient update step. We further apply Nesterov's Accelerated Gradient (NAG) method in SGD algorithm to optimally accelerate the convergence rate and compensate Hessian computational delay time per epoch. Experimental evaluation in the field of structural health monitoring using laboratory-based and real-life structural datasets show that our method provides more accurate results compared with existing online tensor analysis methods.

研究の動機と目的

• バッチCP分解の限界を、オンライン、高速、非定常な多次元データ環境において解決すること。
• 既存のオンラインSGDベースのCP分解手法における収束が遅い、あるいは収束しない問題を克服すること。
• 鞍点の検出と脱出を可能にすることで、非凸テンソル分解におけるグローバル収束を保証すること。
• オンラインSGDフレームワーク内でのNesterovの加速勾配を用いて収束を加速すること。
• テンソルベースの異常検出を用いて、構造健全性モニタリングにおけるリアルタイムの損傷検出、局所化、深刻度評価を可能にすること。

提案手法

• NeCPDは、オンラインCP分解に確率的勾配降下法（SGD）を採用し、新しいデータバッチごとに1ステップでテンソル因子分解を更新する。
• 標準的なSGDの$ O(1/T) $収束速度よりも優れた$ O(1/T^2) $の最適収束速度を達成するため、Nesterovの加速勾配（NAG）を統合する。
• 勾配更新ステップに小さなノイズを追加することで、摂動アプローチを用いて鞍点を脱出させ、グローバル収束を向上させる。
• 最適化の過程でヘッシアン行列をモデル化し、鞍点を検出し、脱出方向をガイドする。
• 時間的でないモードを含むすべての因子行列を段階的に更新することで、従来のオンライン手法（例：onlineCP）の制限を克服する。
• NeCPDは1クラスSVMと組み合わせられ、位置行列のk近傍法解析により損傷の深刻度推定と局所化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非凸設定下で、効率的かつグローバルに収束するオンラインCP分解は可能か？
• RQ2 非凸テンソル最適化における鞍点は、効果的に検出し、脱出可能か？
• RQ3 Nesterovの加速は、計算負荷の増加を伴わずにオンラインテンソル分解の収束速度を向上させられるか？
• RQ4 NeCPDは、既存のオンラインおよびオフライン手法と比較して、実世界の構造健全性モニタリングタスクでどのように性能を発揮するか？
• RQ5 NeCPDは、インクリメンタルアップデートを用いて、マルチセンサー構造データにおける損傷を効果的に局所化できるか？

主な発見

• 7棟の建物データセットでは、NeCPDはFスコア95±0.01を達成し、SALSベースの1クラスSVM（91±0.00）を上回った。
• 橋のデータセットでは、NeCPDは位置行列のk近傍法解析により損傷を効果的に局所化した。特に、損傷箇所でセンサーA10とA14が顕著な挙動を示した。
• NeCPD出力に基づいて学習された1クラスSVMの意思決定値は、損傷深刻度のトレンドを追跡しており、低い値は深刻な損傷を示している。
• NeCPDはSALSを上回る損傷局所化性能を示した。SALSは位置行列$ B $の段階的更新に失敗していた。
• 実験ベースおよび実生の構造データセットの両方で、NeCPDは安定的かつ高速な収束を示し、オンライン環境における頑健性を確認した。
• 摂動に基づく鞍点脱出メカニズムにより、非凸最適化における収束が著しく向上し、複数のデータセットで一貫した性能を発揮した。