[논문 리뷰] On Proximity and Structural Role-based Embeddings in Networks: Misconceptions, Techniques, and Applications

Ryan A. Rossi, Di Jin외 4명|arXiv (Cornell University)|2019. 08. 22.

Advanced Graph Neural Networks참고 문헌 129인용 수 10

한 줄 요약

이 논문은 커뮤니티 기반(근접성 기반)과 역할 기반(구조적 유사성 기반) 네트워크 임베딩 간의 근본적인 차이를 명확히 하며, 랜덤 워크와 특징 확산 등의 메커니즘이 각 유형을 어떻게 유도하는지 수리적으로 설명한다. 이는 이러한 메커니즘이 커뮤니티 또는 역할 기반 표현을 유도함을 이론적으로 증명하며, 특정 응용 분야에 적합한 임베딩 방법을 식별하고 분석하고 개발할 수 있는 프레임워크를 제공한다.

ABSTRACT

Structural roles define sets of structurally similar nodes that are more similar to nodes inside the set than outside, whereas communities define sets of nodes with more connections inside the set than outside. Roles based on structural similarity and communities based on proximity are fundamentally different but important complementary notions. Recently, the notion of structural roles has become increasingly important and has gained a lot of attention due to the proliferation of work on learning representations (node/edge embeddings) from graphs that preserve the notion of roles. Unfortunately, recent work has sometimes confused the notion of structural roles and communities (based on proximity) leading to misleading or incorrect claims about the capabilities of network embedding methods. As such, this paper seeks to clarify the misconceptions and key differences between structural roles and communities, and formalize the general mechanisms (e.g., random walks, feature diffusion) that give rise to community or role-based structural embeddings. We theoretically prove that embedding methods based on these mechanisms result in either community or role-based structural embeddings. These mechanisms are typically easy to identify and can help researchers quickly determine whether a method preserves community or role-based embeddings. Furthermore, they also serve as a basis for developing new and improved methods for community or role-based structural embeddings. Finally, we analyze and discuss applications and data characteristics where community or role-based embeddings are most appropriate.

연구 동기 및 목표

• 기존 문헌에서 자주 혼동되는 커뮤니티 기반(근접성 기반)과 역할 기반(구조적 유사성 기반) 네트워크 임베딩 간의 근본적 차이를 명확히 하는 것.
• 딥워크, 노드2베크 등 인기 있는 임베딩 방법의 기반이 되는 메커니즘—예를 들어 랜덤 워크와 특징 확산—을 수리적으로 형식화하고, 이러한 메커니즘이 어떻게 커뮤니티 또는 역할 기반 표현을 이끌어내는지 밝히는 것.
• 주어진 임베딩 방법이 커뮤니티 또는 역할 기반의 구조적 성질을 유지하는지에 대한 이론적 근거를 제공하는 것.
• 커뮤니티 또는 역할 구조가 더 관련성이 높은지에 따라 특정 최종 작업에 적합한 임베딩 방법을 선택하거나 설계하는 데 연구자들을 안내하는 것.
• 커뮤니티 기반 또는 역할 기반 임베딩이 가장 효과적인 데이터 특성 및 응용 시나리오를 분석하는 것.

제안 방법

• 노드 집합이 높은 내부 연결성과 낮은 외부 연결성을 가지는 것으로 커뮤니티를 수리적으로 정의하고, 구조 패턴이 유사한 노드 집합(예: 그래프릿)을 역할로 정의한다.
• 근접성 기반 임베딩을 노드 간의 근접성 또는 거리를 유지하는 것으로 정의하고, 역할 기반 임베딩을 공통된 부분그래프 패턴을 통한 구조적 유사성 유지로 정의한다.
• 이론적으로, 랜덤 워크(예: 딥워크, 노드2베크)와 같은 메커니즘이 근접성 유지 때문에 커뮤니티 기반 임베딩을 유도함을 증명한다.
• 특징 확산(예: DGI, 그래프소지)과 같은 메커니즘이 동일한 부분그래프 패턴을 통해 구조적 역할을 포착함으로써 역할 기반 임베딩을 유도함을 보여준다.
• 기본 메커니즘과 결과 임베딩 유형(커뮤니티 대 역할 기반)에 따라 기존 임베딩 방법을 분류하는 일반적 프레임워크를 제안한다.
• 이 프레임워크를 활용해 커뮤니티 또는 역할 중심 작업에 적합한 새로운 방법의 설계를 분석하고 안내한다.

실험 결과

연구 질문

• RQ1 커뮤니티 기반과 역할 기반 네트워크 임베딩 간의 핵심 이론적 차이점은 무엇이며, 실무에서 왜 자주 혼동되는가?
• RQ2 랜덤 워크나 특징 확산과 같은 임베딩 메커니즘 중 어떤 것이 자연스럽게 커뮤니티 기반 또는 역할 기반의 구조적 표현을 이끌어내는가?
• RQ3 기본 메커니즘에 기반해 주어진 임베딩 방법이 커뮤니티 또는 역할 구조를 유지하는지 수리적으로 증명할 수 있는 방법은 무엇인가?
• RQ4 어떤 데이터 특성 또는 응용 시나리오에서 커뮤니티 기반 또는 역할 기반 임베딩이 더 적합한가?
• RQ5 제안된 프레임워크를 활용해 커뮤니티 또는 역할 구조를 더 잘 유지하는 새로운 임베딩 방법의 개발을 어떻게 안내할 수 있는가?

주요 결과

• 딥워크나 노드2베크와 같은 랜덤 워크 기반 방법은 국소적 근접성과 노드 간 거리를 유지하므로 본질적으로 커뮤니티 기반 임베딩을 생성한다.
• DGI나 그래프소지와 같은 특징 확산 기반 방법은 노드 간의 동일한 구조적 패턴을 포착함으로써 관찰되는 구조적 유사성 유지로 인해 역할 기반 임베딩을 생성한다.
• 이론적 분석을 통해 근접성 기반 메커니즘(예: 랜덤 워크)은 커뮤니티 임베딩을, 구조적 불변성 기반 메커니즘(예: 특징 전파)은 역할 기반 임베딩을 유도함을 확인한다.
• 역할 기반 임베딩에서 유도된 하드 클러스터 할당은 유사한 구조적 행동을 보이는 노드를 샘플링하는 데 효과적이며, 이는 액티브 러닝 및 추천 시스템에서 더 높은 성능을 이끌어낸다.
• 커뮤니티 기반 임베딩은 링크 예측이나 추천과 같은 국소적 연결성과 관련된 작업에 가장 적합하며, 역할 기반 임베딩은 전이 학습과 영향력 최대화 작업에서 뛰어난 성능을 발휘한다.
• 이 프레임워크를 통해 연구자들은 주어진 임베딩 방법이 커뮤니티 또는 역할 구조를 유지하는지 신속하게 식별할 수 있으며, 이는 특정 응용 분야에 적합한 방법 선택 및 설계를 보조한다.