[논문 리뷰] Community-based Outlier Detection for Edge-attributed Graphs

Supriya Pandhre, Manish Gupta외 1명|arXiv (Cornell University)|2016. 12. 30.

Anomaly Detection Techniques and Applications참고 문헌 15인용 수 3

한 줄 요약

이 논문은 은닉 마르코프 무작위장치(HMRF)를 사용하여 노드 및 엣지 속성을 함께 모델링함으로써 엣지에 속성 부여된 그래프에서 커뮤니티 기반 이상 탐지 방법인 HCODA를 제안한다. 이상치를 별개의 커뮤니티로 간주하고 EM 알고리즘을 적용하여 매개변수 학습 및 커뮤니티 추론을 수행함으로써, 구조적 및 속성적 맥락에서 모두 이질적인 노드 또는 엣지를 효과적으로 식별한다. 이는 합성 데이터 및 DBLP 공동저자 네트워크에서 기준 방법들을 능가한다.

ABSTRACT

The study of networks has emerged in diverse disciplines as a means of analyzing complex relationship data. Beyond graph analysis tasks like graph query processing, link analysis, influence propagation, there has recently been some work in the area of outlier detection for information network data. Although various kinds of outliers have been studied for graph data, there is not much work on anomaly detection from edge-attributed graphs. In this paper, we introduce a method that detects novel outlier graph nodes by taking into account the node data and edge data simultaneously to detect anomalies. We model the problem as a community detection task, where outliers form a separate community. We propose a method that uses a probabilistic graph model (Hidden Markov Random Field) for joint modeling of nodes and edges in the network to compute Holistic Community Outliers (HCOutliers). Thus, our model presents a natural setting for heterogeneous graphs that have multiple edges/relationships between two nodes. EM (Expectation Maximization) is used to learn model parameters, and infer hidden community labels. Experimental results on synthetic datasets and the DBLP dataset show the effectiveness of our approach for finding novel outliers from networks.

연구 동기 및 목표

• 기존 방법들이 실세계 네트워크에서 중요한 엣지 수준의 속성을 忽시함에도 불구하고, 엣지에 속성 부여된 그래프에 대한 이상 탐지에서의 격차를 메우기 위해.
• 노드 속성 외에도 인cidnet 엣지의 커뮤니티 구조에서 이질적인 새로운 이상치를 탐지하기 위해, 기존의 노드 또는 링크 중심 방법으로는 놓치는 이상치를 식별하기 위해.
• 노드 간의 다중 관계를 갖는 이질적 네트워크를 모델링하기 위해, 노드 및 엣지에 대한 잠재 커뮤니티를 함께 추론하기 위해.
• 이상 탐지를 커뮤니티 탐지 문제로 재정의하여 이상치가 별개의 커뮤니티를 이룰 수 있도록 하여 통합적 이상 탐지가 가능하도록 하기 위해.
• 노드 데이터, 엣지 속성, 네트워크 구조를 통합하는 확률적 프레임워크를 개발하여 복잡한 실세계 그래프에서 탐지 정확도를 향상시키기 위해.

제안 방법

• 노드 속성, 엣지 속성, 네트워크 토폴로지를 함께 포괄하는 은닉 마르코프 무작위장치(HMRF)를 사용하여 그래프를 모델링한다.
• 노드 및 엣지 커뮤니티 레이블의 공동 확률 분포를 정의하며, 노드 데이터, 엣지 속성, 구조적 연결성을 포함한다.
• 기대값 최대화(EM) 알고리즘을 사용하여 은닉 커뮤니티 레이블을 반복적으로 추정하고(ICC를 통해), 모델 매개변수를 학습한다. 이때 노드, 엣지, 클리크 항목의 가중치를 포함한다.
• HMRF의 퍼텐셜 함수에 세 가지 핵심 구성 요소를 통합한다: 노드 가능성, 엣지 가능성, 삼각형 클리크 퍼텐셜(지역적 일관성 모델링을 위해).
• 공동 저자 빈도를 기반으로 엣지 가중치를 설정하고, 엣지-노드 가중치를 역수 공동 저자 수로 정규화하여 국소 연결성을 반영한다.
• 커뮤니티 수 K=4(네 연구 분야)에 더해 이상치 커뮤니티를 추가하고, 매개변수 튜닝을 위해 이상치 비율을 1%로 설정한다.

실험 결과

연구 질문

• RQ1 노드 속성, 엣지 속성, 네트워크 구조를 함께 고려하는 통합 확률 모델이, 노드나 링크만 고려하는 방법보다 이상 탐지 성능을 더 높게 유지할 수 있는가?
• RQ2 엣지 속성의 통합이 이질적 네트워크에서 통합적 커뮤니티 이상치 탐지에 어떤 영향을 미치는가?
• RQ3 제안된 HMRF 기반 방법이 합성 및 실세계 엣지에 속성 부여된 그래프에서 기준 커뮤니티 기반 이상 탐지(CODA) 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 λ₁(연결성 가중치), λ₂(노드 가중치), λ₃(삼각형 클리크 가중치)와 같은 하이퍼파라미터에 대해 이 방법의 민감도는 어떠한가? 최적의 설정은 무엇인가?
• RQ5 이 방법은 실세계 공동저자 네트워크에서 의미 있고 해석 가능한 이상치를 식별할 수 있는가? 예를 들어, 다분야 연구자나 이질적인 협업 관계를 탐지할 수 있는가?

주요 결과

• HCODA는 합성 데이터셋에서 기준 CODA 방법을 능가하며, 다양한 이상치 주입 비율에서 일관된 이상 탐지 정확도 향상을 보였다.
• DBLP Four Area 데이터셋에서 HCODA는 1%의 저자를 이상치로 성공적으로 식별하였으며, 수작업 검토 결과 상위 랭킹 후보자 100%가 의미 있는 다분야 연구자로 확인되었다.
• Sameer K. Antani와 Ivo Krka는 주로 소속된 연구 분야와 일치하지 않는 분야에서 공동저자로 활동함으로써 이상치로 탐지되었다.
• Anindya Datta와 Debra E. VanderMeer는 주 연구 분야 외의 주제에서 공동저자로 활동함으로써 이상치로 식별되었으며, 이는 이 방법이 이질적인 협업을 탐지할 수 있음을 확인한다.
• Sabyasachi Saha의 경우 인공지능과 정보/지식 관리 분야에서 활발히 협업함으로써 이상치로 표시되었으며, 이는 다분야 참여에 민감하게 반응하는 방법의 성능을 반영한다.
• 이 방법은 λ₂에 대해 강건했으며, λ₁(연결성 가중치)에 가장 민감했으며, 낮은 값에서 더 좋은 성능을 보였다. λ₃(클리크 가중치)는 0.5 이상의 값에서 최적 성능을 보였다.