[논문 리뷰] Integrating Network Embedding and Community Outlier Detection via Multiclass Graph Description

Sambaran Bandyopadhyay, Saley Vishal Vivek외 1명|arXiv (Cornell University)|2020. 07. 20.

Anomaly Detection Techniques and Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 다중클래스 서포트 벡터 데이터 기술을 그래프로 확장하여, 노드 임베딩, 커뮤니티 아웃라이어 탐지, 커뮤니티 할당을 동시에 학습하는 새로운 비지도 딥러닝 프레임워크인 DMGD를 제안한다. 이는 임베딩, 커뮤니티 할당, 아웃라이어 탐지에 대한 최소최대 최적화 문제로 공식화되며, 아웃라이어 탐지, 커뮤니티 탐지, 노드 분류에서 최신 기술(SOTA) 수준의 성능을 달성하면서도 커뮤니티 아웃라이어에 대해 강건한 성능을 보인다.

ABSTRACT

Network (or graph) embedding is the task to map the nodes of a graph to a lower dimensional vector space, such that it preserves the graph properties and facilitates the downstream network mining tasks. Real world networks often come with (community) outlier nodes, which behave differently from the regular nodes of the community. These outlier nodes can affect the embedding of the regular nodes, if not handled carefully. In this paper, we propose a novel unsupervised graph embedding approach (called DMGD) which integrates outlier and community detection with node embedding. We extend the idea of deep support vector data description to the framework of graph embedding when there are multiple communities present in the given network, and an outlier is characterized relative to its community. We also show the theoretical bounds on the number of outliers detected by DMGD. Our formulation boils down to an interesting minimax game between the outliers, community assignments and the node embedding function. We also propose an efficient algorithm to solve this optimization framework. Experimental results on both synthetic and real world networks show the merit of our approach compared to state-of-the-arts.

연구 동기 및 목표

• 학습 과정에서 처리되지 않을 경우 노드 표현을 왜곡시킬 수 있는 커뮤니티 아웃라이어의 부정적 영향을 완화하기 위해.
• 노드 임베딩, 커뮤니티 탐지, 아웃라이어 탐지를 하나의 엔드 투 엔드 최적화 프레임워크로 통합하여 표현 학습을 향상시키기 위해.
• 전체적으로가 아니라 지역적 커뮤니티 구조에 기반해 아웃라이어를 탐지하는 방법을 개발하여 임베딩 공간에서 커뮤니티의 통합성을 유지하기 위해.
• 검출된 아웃라이어 수에 대한 이론적 경계를 제공하고, 후속 작업에서 아웃라이어 유도 왜곡에 대한 강건성을 확보하기 위해.

제안 방법

• 각 커뮤니티를 임베딩 공간 내의 초구면으로 모델링하여, 딥 서포트 벡터 데이터 기술(Deep SVDD)을 다수의 커뮤니티로 확장한다.
• 임베딩 함수, 커뮤니티 할당, 아웃라이어 탐지를 동시에 최적화하여 아웃라이어 영향을 최소화하는 최소최대 최적화 프레임워크를 도입한다.
• 비선형 노드 임베딩을 학습하기 위해 딥 네ural 네트워크를 사용하면서, 정상 노드는 커뮤니티별 초구면 내부에, 아웃라이어는 외부에 위치하도록 제약을 둔다.
• 정상 노드의 임베딩이 할당된 커뮤니티 경계를 벗어나면 이를 처벌하는 손실 함수를 사용하며, 아웃라이어가 경계 내부에 위치하면 이를 처벌한다.
• 학습된 임베딩 구조와 일치하는 커뮤니티 할당을 보장하기 위해 클러스터링 인식 목적함수를 적용한다.
• 임베딩, 커뮤니티 할당, 아웃라이어 점수를 번갈아가며 업데이트하는 반복 알고리즘을 통해 최적화를 해결한다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 프레임워크가 그래프 임베딩, 커뮤니티 탐지, 커뮤니티 아웃라이어 탐지를 동시에 최적화할 수 있는가?
• RQ2 기본적인 그래프 임베딩 기법과 비교해 DMGD는 커뮤니티 아웃라이어에 대해 얼마나 더 강건한가?
• RQ3 아웃라이어가 존재하는 상황에서 DMGD는 커뮤니티 구조를 얼마나 잘 유지하고 고품질의 노드 표현을 유지하는가?
• RQ4 DMGD 프레임워크가 검출하는 아웃라이어 수에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• DMGD는 합성 및 실제 네트워크에서 모든 베이스라인 대비 아웃라이어 리콜 성능에서 승리하며, 특히 다른 방법들이 놓치는 인터커뮤니티 아웃라이어를 효과적으로 탐지한다.
• Cora 데이터셋에서, 5% 아웃라이어가 포함된 시드 버전에서 DMGD는 매크로-F1 점수 53.05%를 기록하여, 노드 임베딩 기반의 node2vec(시드 없음 기준 55.99%) 및 기타 베이스라인을 크게 앞서며 성능을 뛰어넘는다.
• 베이스라인 대비 커뮤니티 클러스터링 정확도를 유지하거나 향상시키며(시드된 Cora에서 44.86%), 더 일관된 커뮤니티를 학습할 수 있음을 보여준다.
• 기본 베이스라인과 달리, 아웃라이어가 존재하더라도 노드 분류와 같은 후속 작업에서 성능 저하가 최소화되어, 표준 기반 기법이 심각한 성능 하락을 겪는 것과 대비된다.
• 아웃라이어 존재 상황에서도 DMGD의 노드 분류 및 클러스터링 성능은 안정적이거나 약간 향상되며, 반면 베이스라인은 심각하게 성능이 저하된다.
• 검출된 아웃라이어 수에 대한 이론적 경계가 유도되었으며, 이는 메서드의 아웃라이어 추정 신뢰성에 기여한다.