[논문 리뷰] Distributed Representations of Signed Networks

Mohammad Raihanul Islam, B. Aditya Prakash외 1명|arXiv (Cornell University)|2017. 02. 22.

Advanced Graph Neural Networks참고 문헌 35인용 수 12

한 줄 요약

이 논문은 구조적 균형 이론과 대상 노드 샘플링 전략을 활용하여 학습된 표현에서 간 극성(폴라리티)을 유지하는 스케일러블한 노드 임베딩 방법 sign2vec을 제안한다. 이는 간 및 노드 레이블 예측 작업에서 최신 기술보다 뛰어난 성능을 보이며, 최대 100만 개의 노드를 가진 대규모 서인드 네트워크에서도 뛰어난 성능과 확장성을 입증한다.

ABSTRACT

Recent successes in word embedding and document embedding have motivated researchers to explore similar representations for networks and to use such representations for tasks such as edge prediction, node label prediction, and community detection. Such network embedding methods are largely focused on finding distributed representations for unsigned networks and are unable to discover embeddings that respect polarities inherent in edges. We propose SIGNet, a fast scalable embedding method suitable for signed networks. Our proposed objective function aims to carefully model the social structure implicit in signed networks by reinforcing the principles of social balance theory. Our method builds upon the traditional word2vec family of embedding approaches and adds a new targeted node sampling strategy to maintain structural balance in higher-order neighborhoods. We demonstrate the superiority of SIGNet over state-of-the-art methods proposed for both signed and unsigned networks on several real world datasets from different domains. In particular, SIGNet offers an approach to generate a richer vocabulary of features of signed networks to support representation and reasoning.

연구 동기 및 목표

• 기존 네트워크 임베딩 방법이 서인드 네트워크에서 간 극성을 유지하지 못하는 한계를 해결하기 위해.
• 유ERIC한 간선(방향성 있거나 없음)과 가중치가 있는 또는 없는 간선을 모두 처리할 수 있는 스케일러블하고 일반적인 임베딩 프레임워크를 개발하기 위해.
• 국소적인 2호프 이웃을 초월한 고차원 구조적 균형을 통합하여 표현 학습을 향상시키기 위해.
• 기본적인 음성 샘플링과 비교하여 균형 잡힌 네트워크 구조를 더 잘 학습할 수 있도록 대상 노드 샘플링 전략을 설계하기 위해.
• edge 및 노드 레이블 예측과 같은 후속 예측 작업에서 sign2vec의 효과성을 입증하기 위해.

제안 방법

• sign2vec는 단어 임베딩의 skip-gram 프레임워크를 서인드 네트워크에 확장하여, sign-aware 목적 함수를 사용해 노드 간 관계를 모델링한다.
• 이 방법은 고차원 이웃에서 균형 잡힌 삼각형 구성이 유지되는 노드를 우선적으로 샘플링함으로써 구조적 균형을 유지하는 대상 노드 샘플링 전략을 도입한다.
• 이 방법은 구조적 균형 이론에 기반한 목적 함수를 최적화하여, 균형 잡힌 삼각형에 속한 노드들이 벡터 공간에서 더 가까이 있도록 임베딩을 유도한다.
• 이국적 확률적 경사 하강법을 사용하여 대규모 네트워크에서 효율적이고 스케일러블한 학습을 가능하게 한다.
• 알고리즘은 유ERIC한 간선과 방향성 있는 간선을 모두 처리할 수 있으며, 부호와 크기를 별도로 인코딩하여 이중 및 가중치가 있는 간선을 모두 지원한다.
• 대상 샘플링 전략은 최적화의 안정성과 표현 품질 향상을 위해 동적으로 노드 캐시를 유지한다.

실험 결과

연구 질문

• RQ1 구조적 균형을 유지하면서 서인드 네트워크에서 간 극성을 유지하는 스케일러블한 노드 임베딩 방법을 설계할 수 있는가?
• RQ2 기본 음성 샘플링과 비교하여 대상 노드 샘플링은 서인드 네트워크의 균형 임베딩 학습에 얼마나 효과적인가?
• RQ3 sign2vec은 최신 기술 대비 edge 및 노드 레이블 예측 작업에서 얼마나 향상된 성능을 보이는가?
• RQ4 sign2vec은 수백만 개의 노드를 가진 대규모 서인드 네트워크에 얼마나 잘 스케일링되는가?
• RQ5 sign2vec은 국소적인 2호프 이웃을 초월한 고차원 구조적 균형을 효과적으로 모델링할 수 있는가?

주요 결과

• ADJNet 데이터셋에서 sign2vec는 다음으로 좋은 방법인 sign2vec-NS 대비 매크로 F1 스코어에서 26.1%의 상대적 향상을 기록했다.
• SCOTUS 데이터셋에서 sign2vec는 sign2vec-NS 대비 매크로 F1을 45.1% 향상시켜 대상 샘플링의 효과를 입증했다.
• DBLP 데이터셋에서 sign2vec는 매크로 F1에서 44.9%의 상대적 향상을 기록하여 다양한 도메인에 걸쳐 강력한 일반화 능력을 보였다.
• 이 방법은 효율적으로 스케일링되며, 표준 데스크톱에서 100만 개 노드를 가진 Erdos-Renyi 네트워크를 3시간 이내에 학습하며, 샘플링 시간은 무시할 정도로 짧다(<15분).
• 5개 스레드를 사용할 경우 sign2vec는 3.5배의 속도 향상을 기록하여 강력한 병렬 처리 잠재력과 실용적인 확장성을 보였다.
• 대상 샘플링 전략 덕분에, 외부 간선의 20%가 제거된 상황에서도 sign2vec는 최적화 과정에서 관련 노드의 커버리지가 우수해 성능을 유지할 수 있었다.