[論文レビュー] Neighborhood Structure Assisted Non-negative Matrix Factorization and its Application in Unsupervised Point-wise Anomaly Detection

Imtiaz Ahmed, Xia Hu+2 more|arXiv (Cornell University)|Jan 17, 2020

Face and Expression Recognition被引用数 15

ひとこと要約

本稿では、最小全域木（MST）に基づく近傍構造を非負値行列分解（NMF）に統合することで、非教師ありポイントワイズ異常検出を向上させる、近傍構造支援非負値行列分解（NS-NMF）を提案する。MSTから導かれる類似度を用いて局所多様体構造をモデル化することで、低次元空間におけるクラスタリングおよび再構成性能が向上し、20のベンチマークデータセットおよび1つの産業分野データセットにおいて、標準NMF、GNMF、SNMF、および深層学習ベースラインを上回る性能を発揮する。

ABSTRACT

Dimensionality reduction is considered as an important step for ensuring competitive performance in unsupervised learning such as anomaly detection. Non-negative matrix factorization (NMF) is a popular and widely used method to accomplish this goal. But NMF do not have the provision to include the neighborhood structure information and, as a result, may fail to provide satisfactory performance in presence of nonlinear manifold structure. To address that shortcoming, we propose to consider and incorporate the neighborhood structural similarity information within the NMF framework by modeling the data through a minimum spanning tree. We label the resulting method as the neighborhood structure assisted NMF. We further devise both offline and online algorithmic versions of the proposed method. Empirical comparisons using twenty benchmark datasets as well as an industrial dataset extracted from a hydropower plant demonstrate the superiority of the neighborhood structure assisted NMF and support our claim of merit. Looking closer into the formulation and properties of the neighborhood structure assisted NMF with other recent, enhanced versions of NMF reveals that inclusion of the neighborhood structure information using MST plays a key role in attaining the enhanced performance in anomaly detection.

研究の動機と目的

• 標準NMFが近傍情報の欠如により非線形多様体構造を捉えることができないという限界に対処すること。
• NMFフレームワークに局所的構造類似度を組み込むことで、非教師ありポイントワイズ異常検出を改善すること。
• ストリーミングデータにおけるスケーラブルで動的な異常検出を実現するため、オフラインおよびオンラインの両アルゴリズムを開発すること。
• GNMFなどのグラフ正則化NMF手法に比べ、ハイパーパrameterへの感受性を低減すること。
• 潜在空間における局所不変性を保持することで、解釈可能性および検出性能を向上させること。

提案手法

• 各データポイントをノードとし、エッジがペアワイズ類似度を表すデータグラフを構築する。
• データグラフ上でプリム法を適用して最小全域木（MST）を計算し、滑らかな距離を近似するスパースな類似度行列を導出する。
• MSTに基づく類似度行列を、局所的近傍構造を保持する正則化項としてNMFの目的関数に統合する。
• 基底行列（クラスタリング指標）と係数行列（属性分布）を同時に学習するための連合最適化問題を定式化する。
• 因子分解された行列からの再構成誤差をポイントワイズ検出の異常スコアとして用いる。
• 効率的なオフライン学習のための並列ブロック確率的勾配降下法と、ストリーミングデータ向けのオンライン版を実装する。

実験結果

リサーチクエスチョン

• RQ1 MSTを用いた近傍構造の統合は、非教師あり異常検出におけるNMFの性能向上に寄与するか？
• RQ2 NS-NMFはGNMFおよびSNMFと比較して、検出精度およびハイパーパrameterへのロバストネスにおいて優れているか？
• RQ3 MSTに基づく類似度行列は、ユークリッド距離に基づく類似度と比較して、局所的多様体構造をよりよく保持するか？
• RQ4 NS-NMFは、ダム発電所からの実世界産業データにおいても高い性能を維持できるか？
• RQ5 深層ニューラルネットワークベースの異常検出手法（例：AERおよびDAGMM）と比較して、NS-NMFはどのように性能を発揮するか？

主な発見

• NS-NMFは20のベンチマークデータセットすべてで、標準NMF、GNMF、SNMFを上回り、20件中15件で最高の検出精度を達成した。
• 実世界のダム発電所データセットにおいても、NS-NMFは優れた性能を発揮し、現地のプラントオペレーターからオフライン版が最も競争力のある手法と評価された。
• GNMFに比べ、正則化パラメータへの感受性が低く、特に近隣数および正則化強度の両方に非常に感受しやすいとされるGNMFと比較して優位であった。
• 深層学習モデルと比較すると、NS-NMFは20のデータセット中15件でAERおよびDAGMMを上回り、DAGMMが勝利したのは3件、AERが勝ったのは1件にとどまった。
• Cardiotocographyデータセットでは、NS-NMFが29の検出スコアを達成し、最良のベースライン（NS-NMFとAERが並び）と同等の性能を発揮した。一方、ArrhythmiaやIonosphereのような高異常率データセットでは、他と比べて顕著に優れた性能を示した。
• NS-NMFのオンライン版は正常に実装され、ストリーミングデータへの適用が可能であることが示され、NMFベースの異常検出をオンライン用途に適応させる最初の試みの一つとなった。