[논문 리뷰] From Community to Role-based Graph Embeddings.

Ryan A. Rossi, Di Jin외 4명|arXiv (Cornell University)|2019. 08. 22.

Advanced Graph Neural Networks참고 문헌 155인용 수 20

한 줄 요약

이 논문은 그래프 임베딩에서 역할과 커뮤니티의 근본적인 차이를 명확히 하여, 랜덤 워크나 특징 확산과 같은 메커니즘들이 역할 기반 또는 커뮤니티 기반 표현을 어떻게 생성하는지 수학적으로 형식화한다. 특정 방법이 다른 구조를 학습하는 이유를 수학적으로 입증함으로써, 보다 나은, 더 타겟팅된 임베딩 기법 설계를 위한 기반을 마련한다.

ABSTRACT

Roles are sets of structurally similar nodes that are more similar to nodes inside the set than outside, whereas communities are sets of nodes with more connections inside the set than outside (based on proximity/closeness, density). Roles and communities are fundamentally different but important complementary notions. Recently, the notion of roles has become increasingly important and has gained a lot of attention due to the proliferation of work on learning representations (node/edge embeddings) from graphs that preserve the notion of roles. Unfortunately, recent work has sometimes confused the notion of roles and communities leading to misleading or incorrect claims about the capabilities of network embedding methods. As such, this manuscript seeks to clarify the differences between roles and communities, and formalize the general mechanisms (e.g., random walks, feature diffusion) that give rise to community or role-based embeddings. We show mathematically why embedding methods based on these identified mechanisms are either community or role-based. These mechanisms are typically easy to identify and can help researchers quickly determine whether a method is more prone to learn community or role-based embeddings. Furthermore, they also serve as a basis for developing new and better methods for community or role-based embeddings. Finally, we analyze and discuss the applications and data characteristics where community or role-based embeddings are most appropriate.

연구 동기 및 목표

• 그래프 네트워크에서 역할과 커뮤니티 간의 개념적이고 수학적인 차이를 명확히 하는 것.
• 랜덤 워크나 특징 확산과 같은 핵심 메커니즘—예: DeepWalk, node2vec, GCN, GAE—이 역할 기반 또는 커뮤니티 기반 노드 임베딩을 어떻게 유도하는지 규명하고 형식화하는 것.
• 일부 임베딩 방법이 커뮤니티 또는 역할을 학습하는 데 본질적으로 기울어져 있음을 보여줌으로써 이전 연구에서의 오해를 방지하는 것.
• 역할 또는 커뮤니티 구조에 특화된 새로운 임베딩 기법 설계를 위한 원칙적인 기반을 제공하는 것.
• 데이터 특성과 응용 요구사항에 따라 적절한 임베딩 기법을 선택하는 데 연구자들을 안내하는 것.

제안 방법

• 논문은 역할을 구조적으로 유사한 노드 집합으로 형식화하며, 밀도 높은 내부 연결성으로 정의되는 커뮤니티와는 명확히 구분한다.
• 특히 랜덤 워크(예: DeepWalk, node2vec)와 특징 확산(예: GCN, GAE)을 중심으로, 임베딩 방법을 그 배경 메커니즘의 관점에서 분석한다.
• 이러한 메커니즘이 역할 기반 또는 커뮤니티 기반 표현을 어느 정도 선호하는지에 대한 수학적 조건을 유도한다.
• 구조적 동치성과 자동형성 불변성(automorphism invariance)을 사용하여 임베딩이 언제 역할을, 언제 커뮤니티를 포착하는지를 특성화한다.
• 통제된 그래프 모델에서 다양한 방법의 행동을 비교하여 이론적 차이를 검증한다.
• 기존 방법들을 그들이 역할 또는 커뮤니티에 대한 유도적 편향을 얼마나 지닌지에 따라 분류하는 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 그래프 네트워크에서 역할과 커뮤니티의 근본적인 차이는 무엇이며, 왜 이 구분이 임베딩 기법에 대해 중요한가?
• RQ2 랜덤 워크나 특징 확산과 같은 메커니즘 중에서 어떤 것이 역할 기반 임베딩과 커뮤니티 기반 임베딩을 유도하는가?
• RQ3 어떤 임베딩 방법이 역할 또는 커뮤니티를 학습하는 데 기울어져 있는지 판단하기 위해 수학적으로 어떻게 결정할 수 있는가?
• RQ4 어떤 종류의 데이터나 응용 분야에서 역할 기반 또는 커뮤니티 기반 임베딩이 더 적합한가?
• RQ5 식별된 메커니즘을 바탕으로 역할 또는 커뮤니티에 보장된 편향을 지닌 새로운 임베딩 기법을 설계할 수 있는가?

주요 결과

• DeepWalk 및 node2vec와 같은 랜덤 워크 기반 방법은 국소적 근접성과 경로 기반 샘플링에 의존하기 때문에 본질적으로 커뮤니티 구조 학습에 기울어져 있다.
• GCN 및 GAE와 같은 특징 확산 기반 방법은 구조적 동치성과 이웃 집합의 집계에 중점을 두기 때문에 더 많은 역할 기반 표현을 학습할 가능성이 높다.
• 논문은 구조적 동치성(자동형성 불변성)이 역할 기반 임베딩을 위한 핵심 수학적 성질임을 입증하며, 이 성질이 커뮤니티 중심 방법에서는 유지되지 않는다는 점을 밝힌다.
• 이전 문헌에서 역할 기반 방법을 커뮤니티 기반으로 잘못 분류한 결과, 일반화 및 이식 가능성에 관해 오해의 여지가 있는 주장이 제기된 바 있다.
• 식별된 메커니즘들은 특정 방법이 학습된 표현에서 역할 또는 커뮤니티를 어느 정도 우선시하는지 예측하는 신뢰할 수 있는 진단 도구를 제공한다.
• 고도의 구조적 대칭성 또는 모듈화된 역할을 지닌 데이터는 역할 기반 임베딩에서 더 큰 이점을 얻으며, 밀도 높은 하위 그래프는 커뮤니티 기반 방법에 더 적합하다.