[논문 리뷰] Outlier Aware Network Embedding for Attributed Networks

Sambaran Bandyopadhyay, N. Lokesh외 1명|arXiv (Cornell University)|2018. 11. 19.

Anomaly Detection Techniques and Applications참고 문헌 25인용 수 8

한 줄 요약

이 논문은 손실 함수에 이상치에 민감한 가중치를 통합하여 구조적 손실과 속성 기반 손실을 동시에 최적화하는 비지도 이상치 인식 네트워크 임bedding 방법인 ONE을 제안한다. 반복적으로 노드 임베딩을 개선하고 비정상 노드의 영향을 줄임으로써, 5%의 인위적인 이상치가 존재하는 상황에서도 이상치 탐지 및 노드 분류, 클러스터링과 같은 후속 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Attributed network embedding has received much interest from the research community as most of the networks come with some content in each node, which is also known as node attributes. Existing attributed network approaches work well when the network is consistent in structure and attributes, and nodes behave as expected. But real world networks often have anomalous nodes. Typically these outliers, being relatively unexplainable, affect the embeddings of other nodes in the network. Thus all the downstream network mining tasks fail miserably in the presence of such outliers. Hence an integrated approach to detect anomalies and reduce their overall effect on the network embedding is required. Towards this end, we propose an unsupervised outlier aware network embedding algorithm (ONE) for attributed networks, which minimizes the effect of the outlier nodes, and hence generates robust network embeddings. We align and jointly optimize the loss functions coming from structure and attributes of the network. To the best of our knowledge, this is the first generic network embedding approach which incorporates the effect of outliers for an attributed network without any supervision. We experimented on publicly available real networks and manually planted different types of outliers to check the performance of the proposed algorithm. Results demonstrate the superiority of our approach to detect the network outliers compared to the state-of-the-art approaches. We also consider different downstream machine learning applications on networks to show the efficiency of ONE as a generic network embedding technique. The source code is made available at https://github.com/sambaranban/ONE.

연구 동기 및 목표

• 속성 부여된 네트워크에서 이상치가 기존의 네트워크 임베딩 품질을 떨어뜨리는 문제를 해결한다.
• 라벨이 없는 데이터를 요구하지 않고 노드 표현을 동시에 학습하고 이상치를 탐지하는 비지도 프레임워크를 개발한다.
• 구조적, 속성 기반, 병합된 이상치가 전체 임베딩 과정에 미치는 영향을 최소화한다.
• 노드 분류 및 클러스터링과 같은 다양한 후속 작업에서 제안된 방법의 효과성을 입증한다.
• 실제 속성 부여된 네트워크에서 내재된 노이즈와 이상치에 적용 가능한 일반적이고 확장 가능한 솔루션을 제공한다.

제안 방법

• 이상치에 민감한 가중치를 통합한 새로운 비용 함수를 제안하여 구조 복원 손실과 속성 복원 손실을 통합한다.
• 노드 임베딩, 구조 복원, 속성 복원을 동시에 업데이트하는 공동 최적화 프레임워크를 도입하며, 반복적 기울기 하강법을 사용한다.
• 최적화 과정에서 이상치로 식별된 노드에 대해 낮은 중요도를 할당하는 동적 가중치 메커니즘을 적용한다.
• 대칭 행렬 분해 기반 접근법을 사용하여 네트워크 구조와 노드 속성을 모두 유지하는 저차원 임베딩을 학습한다.
• 동질성 원리에 기반해 구조적 이웃과 속성 이웃 간의 상관관계를 활용하여 이상치를 나타내는 일관성 없는 패턴을 탐지한다.
• 임베딩 업데이트와 재구성 오차 기반 이상치 점수 개선을 번갈아가며 수행하는 반복 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 비지도 네트워크 임베딩 방법이 속성 부여된 네트워크에서 구조적, 속성 기반, 병합된 이상치를 효과적으로 탐지하고 영향을 완화할 수 있는가?
• RQ2 구조와 속성을 동시에 최적화하는 방식이 분리된 또는 지도 학습 기반 접근법에 비해 강건성 면에서 어떻게 향상되는가?
• RQ3 노드 분류 및 클러스터링과 같은 후속 작업에서 제안된 방법이 최첨단 기준 대비 얼마나 뛰어난 성능을 보이는가?
• RQ4 라벨이 없는 상황에서 ONE의 성능은 SEANO와 같은 준지도 학습 방법과 비교해 어떻게 되는가?
• RQ5 이상치 인식 기능을 통합함으로써 5%의 노드가 인위적으로 손상된 경우에도 더 안정적이고 정확한 임베딩을 얻을 수 있는가?

주요 결과

• ONE은 node2vec 및 TADW와 같은 최첨단 비지도 방법보다 노드 분류에서 일관되게 승리하며, 모든 데이터셋에서 최고의 Macro-F1 및 Micro-F1 점수를 기록한다. 이는 5% 이상치가 존재하는 상황에서도 동일하게 유지된다.
• Citeseer 데이터셋에서 ONE은 Micro-F1 점수 0.82와 Macro-F1 점수 0.78를 기록하여 이상치 존재 상황에서 AANE 및 SEANO를 크게 앞서나간다.
• 노드 클러스터링에서 ONE은 모든 데이터셋에서 최고의 베이스라인(SEANO)과 2% 이내의 정확도를 유지하며, 완전히 비지도임에도 불구하고 기존 방법들이 이상치 조건에서 실패하는 것과 대비된다.
• 실제 데이터셋에서 ONE은 수렴 속도가 매우 빠르며, 각 반복에서 O(N²) 연산이 지배적이므로 샘플링 또는 근사 기법을 통한 최적화 가능성이 있다.
• 기존 방법의 임베딩에 적용했을 때 ONE은 이sovlation Forest 및 기타 기준 대비 이상치 탐지 능력이 뛰어나, 통합된 이상치 탐지 기능을 입증한다.
• 라벨이 전혀 없는 상황에서도 ONE은 클러스터링 및 분류에서 준지도 학습 방법인 SEANO와 동일하거나 이를 초월하는 성능을 보이며, 강건성과 일반화 능력을 입증한다.