[논문 리뷰] Detecting Communities from Heterogeneous Graphs: A Context Path-based Graph Neural Network Model

Linhao Luo, Yixiang Fang외 3명|arXiv (Cornell University)|2021. 09. 05.

Complex Network Analysis Techniques참고 문헌 59인용 수 7

한 줄 요약

이 논문은 수동으로 정의된 메타패스에 의존하지 않는 이질적 그래프에서 커뮤니티 검출을 위한 컨텍스트 패스 기반 그래프 신경망인 CP-GNN을 제안한다. 학습 가능한 컨텍스트 패스를 통해 고차원 관계를 모델링하고, 경로의 중요도를 가중치로 부여하는 어텐션 메커니즘을 사용함으로써, 실제 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 기존의 비지도 커뮤니티 검출 방법들을 능가한다.

ABSTRACT

Community detection, aiming to group the graph nodes into clusters with dense inner-connection, is a fundamental graph mining task. Recently, it has been studied on the heterogeneous graph, which contains multiple types of nodes and edges, posing great challenges for modeling the high-order relationship between nodes. With the surge of graph embedding mechanism, it has also been adopted to community detection. A remarkable group of works use the meta-path to capture the high-order relationship between nodes and embed them into nodes' embedding to facilitate community detection. However, defining meaningful meta-paths requires much domain knowledge, which largely limits their applications, especially on schema-rich heterogeneous graphs like knowledge graphs. To alleviate this issue, in this paper, we propose to exploit the context path to capture the high-order relationship between nodes, and build a Context Path-based Graph Neural Network (CP-GNN) model. It recursively embeds the high-order relationship between nodes into the node embedding with attention mechanisms to discriminate the importance of different relationships. By maximizing the expectation of the co-occurrence of nodes connected by context paths, the model can learn the nodes' embeddings that both well preserve the high-order relationship between nodes and are helpful for community detection. Extensive experimental results on four real-world datasets show that CP-GNN outperforms the state-of-the-art community detection methods.

연구 동기 및 목표

• 다양한 노드 유형과 간선 유형이 풍부한 의미 정보를 지닌 이질적 그래프에서 커뮤니티 검출의 과제를 해결하기 위해.
• 전문가가 정의한 경로가 필요하고 지수적 경로 폭발 문제를 겪는 메타패스 기반 방법의 한계를 극복하기 위해.
• 사전 스키마 지식 없이 고차원 노드 관계를 포착할 수 있는 비지도 학습 프레임워크를 개발하기 위해.
• 모델이 자동으로 가장 정보성 있는 고차원 관계를 식별하고 우선순위를 정할 수 있도록 하기 위해.
• 어텐션 강화된 GNN 아키텍처를 통해 컨텍스트 패스를 확률적 동시 발생 신호로 모델링하여 커뮤니티 검출 성능을 향상시키기 위해.

제안 방법

• 기본 유형의 노드를 보조 유형의 노드를 통해 연결하는 시퀀스인 컨텍스트 패스를 도입하여, 사전 정의된 메타패스 없이 고차원 관계를 캡처한다.
• 두 노드가 이러한 패스를 통해 연결될 가능성 모델링을 위해 컨텍스트 패스 확률을 정의하며, 목적 함수의 기초를 형성한다.
• 컨텍스트 패스에 의해 연결된 노드의 기대 동시 발생을 최대화하는 비지도 목적 함수를 제안하여 고차원 구조를 유지한다.
• 다중 헤드 어텐션을 사용한 GNN 아키텍처를 활용해 임베딩을 반복적으로 집계하며, 다양한 컨텍스트 패스의 중요도를 구분한다.
• 더 긴, 덜 관련성이 있는 패스에 대해 낮은 가중치를 할당하는 컨텍스트 패스 길이 어텐션 메커니즘을 통합하여 하이퍼파ram터 선택에 대한 강건성을 향상시킨다.
• 다양한 간선 유형이 컨텍스트 패스에서 기여하는 정도를 동적으로 가중치로 설정하는 관계 수준 어テン션을 통합하여 의미적으로 유의미한 관계를 식별한다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 메타패스에 의존하지 않고 컨텍스트 패스가 이질적 그래프에서 고차원 관계를 효과적으로 모델링할 수 있는가?
• RQ2 비지도 방식으로 그래프 신경망을 훈련시켜 커뮤니티 검출을 위한 고차원 구조 패턴을 유지할 수 있는가?
• RQ3 어텐션 메커니즘이 커뮤니티 검출을 위해 가장 정보성 있는 컨텍스트 패스를 효과적으로 식별하고 우선순위를 정할 수 있는가?
• RQ4 제안된 CP-GNN 모델이 실제 이질적 그래프에서 최신 기술 수준의 커뮤니티 검출 방법보다 뛰어난 성능을 달성하는가?
• RQ5 모델 성능이 컨텍스트 패스 길이의 선택에 얼마나 민감한가? 그리고 어텐션 메커니즘이 이 의존성을 줄일 수 있는가?

주요 결과

• CP-GNN은 ACM, DBLP 등 다양한 실제 데이터셋에서 최신 기술 수준의 커뮤니티 검출 방법들을 초월하며, 여러 평가 지표에서 뛰어난 성능을 기록했다.
• 컨텍스트 패스 길이 K=4일 때 최적의 성능을 달성했으며, K>4일 경우 장거리 패스에 대한 과적합으로 성능이 약간 떨어졌다.
• 컨텍스트 패스 길이에 대한 어텐션 가중치는 길이가 증가할수록 감소하며, 짧은 패스가 더 정보성이 있다는 점에서 직관적인 기대와 일치함을 확인했다.
• 관계 수준 어텐션 메커니즘이 PSP 및 APCPA와 같은 더 의미 있는 패스를 효과적으로 식별했으며, 이들의 높은 어텐션 점수는 후속 평가에서 더 높은 F1 점수와 상관관계를 보였다.
• 어텐션 메커니즘이 하이퍼파ram터 K에 대한 민감도를 감소시켜, 최적 값보다 높은 K(예: K=5 또는 6)로 설정해도 성능이 최적에 가까이 유지됨을 확인했다.
• 어텐션 행렬의 시각화 결과, 모델이 의미적으로 관련성이 있는 노드 및 간선 유형(예: 저자-논문-주제 연결)에 집중하는 것을 확인했으며, 이는 커뮤니티 형성에 핵심적인 역할을 한다.