[논문 리뷰] Query Driven-Graph Neural Networks for Community Search: From Non-Attributed, Attributed, to Interactive Attributed

Yuli Jiang, Yu Rong외 4명|arXiv (Cornell University)|2021. 04. 08.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 쿼리 기반 GNN(QD-GNN)과 특성 부여 쿼리 기반 GNN(AQD-GNN)을 제안하며, 국소적 쿼리 인식 표현과 전역 그래프 임베딩, 이원 그래프를 통합하여 쿼리에 의존하는 커뮤니티 구조와 정점 특성을 동시에 모델링하는 새로운 GNN 모델이다. AQD-GNN는 상호작용 설정 하에서 이전 방법 대비 F1 점수를 6.29% 향상시켜 최신 기술 수준을 달성한다.

ABSTRACT

Given one or more query vertices, Community Search (CS) aims to find densely intra-connected and loosely inter-connected structures containing query vertices. Attributed Community Search (ACS), a related problem, is more challenging since it finds communities with both cohesive structures and homogeneous vertex attributes. However, most methods for the CS task rely on inflexible pre-defined structures and studies for ACS treat each attribute independently. Moreover, the most popular ACS strategies decompose ACS into two separate sub-problems, i.e., the CS task and subsequent attribute filtering task. However, in real-world graphs, the community structure and the vertex attributes are closely correlated to each other. This correlation is vital for the ACS problem. In this paper, we propose Graph Neural Network models for both CS and ACS problems, i.e., Query Driven-GNN and Attributed Query Driven-GNN. In QD-GNN, we combine the local query-dependent structure and global graph embedding. In order to extend QD-GNN to handle attributes, we model vertex attributes as a bipartite graph and capture the relation between attributes by constructing GNNs on this bipartite graph. With a Feature Fusion operator, AQD-GNN processes the structure and attribute simultaneously and predicts communities according to each attributed query. Experiments on real-world graphs with ground-truth communities demonstrate that the proposed models outperform existing CS and ACS algorithms in terms of both efficiency and effectiveness. More recently, an interactive setting for CS is proposed that allows users to adjust the predicted communities. We further verify our approaches under the interactive setting and extend to the attributed context. Our method achieves 2.37% and 6.29% improvements in F1-score than the state-of-the-art model without attributes and with attributes respectively.

연구 동기 및 목표

• 기존 커뮤니티 검색 방법이 고정된 사전 정의된 부분그래프 패턴(k-core, k-truss 등)에 의존하여 민감도가 높고, 쿼리에 따라 유연하게 변화하는 커뮤니티 구조를 포착하지 못하는 한계를 해결하기 위해.
• 특성 부여 커뮤니티 검색에서 특성이 상호 관련성이 없이 독립적으로 취급되는 문제를 해결하기 위해, 암묵적인 상관관계를 모델링함으로써 특성 간의 유사성을 반영하고자.
• 커뮤니티 검색을 구조 필터링과 특성 필터링으로 분리하는 이중 단계적 접근 방식을 제거하여, 구조적 밀도와 특성 균일성 간의 분리 문제를 해결하고자.
• 사용자 쿼리에 대응하여 구조적 밀도와 특성 균일성을 동시에 최적화하는 통합형 엔드 투 엔드 GNN 프레임워크를 개발하고자.
• 제안된 모델을 상호작용형 커뮤니티 검색에 확장하여 사용자 피드백을 기반으로 결과를 반복적으로 개선하고, 실세계 응용에서의 적응성 향상을 도모하고자.

제안 방법

• QD-GNN는 쿼리 기반 구성 요소와 전역 그래프 임베딩을 결합하며, 쿼리에 따라 달라지는 어텐션 메커니즘을 사용하여 재학습 없이 국소적 커뮤니티 표현을 생성한다.
• AQD-GNN는 정점과 특성 간의 이원 그래프로 정점 특성을 모델링하여 GNN이 특성 간의 관계적 의존성을 학습할 수 있도록 한다.
• 특성 융합 연산자(Feature Fusion)는 주 그래프로부터의 구조적 표현과 이원 그래프로부터의 특성 표현을 통합된 임베딩 공간에 통합한다.
• 출력 로짓에 기반한 임계값 기반 제약이 있는 BFS를 사용하여 연속적인 점수를 이산적 커뮤니티 집합으로 변환하며, γ는 검증 데이터에서 튜닝된다.
• 사용자 피드백 기반 반복적 개선이 가능한 ICS-GNN와 통합하여 상호작용형 커뮤니티 검색으로 프레임워크를 확장한다.
• 모델 학습은 예측된 커뮤니티 소속에 대한 교차 엔트로피 손실을 사용하며, 드롭아웃, 학습률, 에포크 수 등의 하이퍼파라미터는 아블레이션을 통해 튜닝된다.

실험 결과

연구 질문

• RQ1 사전 정의된 부분그래프 패턴에 의존하지 않고, GNN 기반 모델이 커뮤니티 검색에서 구조적 밀도와 특성 균일성을 동시에 최적화할 수 있는가?
• RQ2 특성 간의 암묵적인 상관관계를 효과적으로 모델링하여 특성 부여 커뮤니티 검색의 정확도를 향상시킬 수 있는가?
• RQ3 구조와 특성을 동시에 학습하는 엔드 투 엔드의 통합 학습 방식이, 구조 우선 필터링 후 특성 필터링을 수행하는 기존의 이중 단계적 접근 방식보다 우월한가?
• RQ4 제안된 GNN 모델이 사용자 피드백을 기반으로 결과를 개선하는 상호작용형 커뮤니티 검색에 효과적으로 확장될 수 있는가?
• RQ5 모델 성능 및 일반화 능력이 임계값 γ, 학습 데이터 크기, 드롭아웃 비율 등의 하이퍼파라미터에 얼마나 민감한가?

주요 결과

• AQD-GNN는 상호작용 설정 하에서 특성 부여 커뮤니티 검색에서 최신 기술 수준의 방법 대비 F1 점수를 6.29% 향상시켰다.
• 모델은 임계값 γ에 대해 뛰어난 내구성을 보이며, 0.3에서 0.7의 넓은 범위에서 안정된 성능을 유지하여 하이퍼파라미터 튜닝에 대한 민감도가 낮음을 시사한다.
• 학습 데이터 크기가 50에서 100으로 증가함에 따라 성능이 크게 향상되지만, 100을 초과하면 안정화되어 중간 크기 이상에서는 수익 감소 현상이 나타남을 보여준다.
• 모델은 200 에포크 내에 수렴하며, 드롭아웃 비율 0.1에서 0.7 범위에서도 안정된 성능 유지를 보이며, 최적의 성능는 0.5에서 달성된다.
• 아블레이션 연구를 통해, 구조와 특성을 동시에 학습하는 통합 학습 방식이 분리된 접근 방식보다 열등한 결과를 도출하지 않음을 확인하여 모델 설계의 타당성을 입증한다.
• 제안된 프레임워크는 실제 다수의 그래프에서 지표 커뮤니티를 포함하여 효율성과 효과성 측면에서 기존 방법들을 모두 압도한다.