[논문 리뷰] Neighborhood Structure Assisted Non-negative Matrix Factorization and its Application in Unsupervised Point-wise Anomaly Detection

Imtiaz Ahmed, Xia Hu외 2명|arXiv (Cornell University)|2020. 01. 17.

Face and Expression Recognition인용 수 15

한 줄 요약

이 논문은 비음수 행렬 분해(NMF)에 최소 스패닝 트리(MST)-기반 이웃 구조를 통합하여 비지도 점별 이상 탐지 성능을 향상시키는 Neighborhood Structure-assisted Non-negative Matrix Factorization(이하 NS-NMF)을 제안한다. MST에서 유도된 유사성으로 국소 다양체 구조를 모델링함으로써, 저차원 공간에서의 군집화 및 재구성 성능이 향상되며, 20개의 벤치마크 및 하나의 산업 데이터셋에서 기존의 NMF, GNMF, SNMF 및 딥 러닝 기반 기준 모델들을 능가한다.

ABSTRACT

Dimensionality reduction is considered as an important step for ensuring competitive performance in unsupervised learning such as anomaly detection. Non-negative matrix factorization (NMF) is a popular and widely used method to accomplish this goal. But NMF do not have the provision to include the neighborhood structure information and, as a result, may fail to provide satisfactory performance in presence of nonlinear manifold structure. To address that shortcoming, we propose to consider and incorporate the neighborhood structural similarity information within the NMF framework by modeling the data through a minimum spanning tree. We label the resulting method as the neighborhood structure assisted NMF. We further devise both offline and online algorithmic versions of the proposed method. Empirical comparisons using twenty benchmark datasets as well as an industrial dataset extracted from a hydropower plant demonstrate the superiority of the neighborhood structure assisted NMF and support our claim of merit. Looking closer into the formulation and properties of the neighborhood structure assisted NMF with other recent, enhanced versions of NMF reveals that inclusion of the neighborhood structure information using MST plays a key role in attaining the enhanced performance in anomaly detection.

연구 동기 및 목표

• 이웃 정보가 부족하여 비선형 다양체 구조를 포착하지 못하는 표준 NMF의 한계를 해결하기 위해.
• NMF 프레임워크에 국소 구조적 유사성을 통합하여 비지도 점별 이상 탐지 성능을 향상시키기 위해.
• 스트리밍 데이터에서 확장 가능하고 동적인 이상 탐지를 위한 오프라인 및 온라인 알고리즘을 개발하기 위해.
• GNMF와 같은 기존 그래프 정규화 NMF 방법에 비해 하이퍼파rameter에 대한 민감도를 낮추기 위해.
• 잠재 공간에서 국소 불변성을 유지함으로써 해석 가능성과 탐지 성능을 향상시키기 위해.

제안 방법

• 각 데이터 포인트를 노드로 하고 간선을 쌍별 유사도로 하는 데이터 그래프를 구축한다.
• 데이터 그래프에 대해 Prim의 알고리즘을 적용하여, 희소하고 지오데식 거리 근사 유사도 행렬을 유도하는 최소 스패닝 트리(MST)를 계산한다.
• MST 기반 유사도 행렬을 NMF 목적 함수에 정규화 항으로 통합하여 국소 이웃 구조를 유지한다.
• 기저 행렬(군집 지표)과 계수 행렬(속성 분포)을 동시에 학습하기 위한 공동 최적화 문제를 수립한다.
• 인과 행렬의 재구성 오차를 점별 탐지에 대한 이상 점수로 사용한다.
• 효율적인 오프라인 학습을 위한 병렬 블록 확률적 경사 하강법 알고리즘과 스트리밍 데이터를 위한 온라인 변종을 구현한다.

실험 결과

연구 질문

• RQ1 MST를 통한 이웃 구조 통합이 NMF의 비지도 이상 탐지 성능 향상에 기여하는가?
• RQ2 NS-NMF는 GNMF 및 SNMF에 비해 탐지 정확도와 하이퍼파ram터에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ3 유사도 행렬 기반으로 국소 다양체 구조를 더 잘 유지하는가?
• RQ4 실제 산업 데이터, 예를 들어 수력발전소에서의 데이터에 대해 NS-NMF가 높은 성능을 유지할 수 있는가?
• RQ5 딥 뉴럴 네트워크 기반 이상 탐지 방법(AER 및 DAGMM 등)에 비해 NS-NMF는 어떻게 성능을 발휘하는가?

주요 결과

• NS-NMF는 20개의 벤치마크 데이터셋 전반에서 기존의 NMF, GNMF, SNMF를 모두 능가했으며, 20개 중 15개에서 가장 높은 탐지 정확도를 기록했다.
• 실제 수력발전소 데이터셋에서도 NS-NMF가 뛰어난 성능을 보였으며, 심지어 현장 운영자들에 의해 오프라인 버전이 가장 경쟁력 있는 방법으로 평가되었다.
• GNMF는 이웃 수와 정규화 강도에 매우 민감한 것으로 알려져 있으나, NS-NMF는 이러한 하이퍼파ram터에 대해 더 낮은 민감도를 보였다.
• 딥 러닝 모델과 비교했을 때, NS-NMF는 20개 데이터셋 중 15개에서 AER 및 DAGMM을 능가했으며, DAGMM이 승리한 경우가 3건 뿐이었고, AER가 승리한 경우는 1건 뿐이었다.
• Cardiotocography 데이터셋에서는 NS-NMF가 이상 점수 29를 기록하여 최고의 베이스라인(NMF 및 AER가 공동 1위)과 동률을 이뤘으며, Arrhythmia 및 Ionosphere와 같은 고이상도 데이터셋에서는 다른 방법들에 비해 뚜렷한 성능 우위를 보였다.
• NS-NMF의 온라인 변종은 성공적으로 구현되었으며 스트리밍 데이터에 대한 적용 가능성을 입증했으며, NMF 기반 이상 탐지 모델을 온라인 환경에 적용한 초기 시도 중 하나로 평가된다.