[논문 리뷰] From Node Embedding To Community Embedding

Vincent W. Zheng, Sandro Cavallari외 3명|arXiv (Cornell University)|2016. 10. 31.

Advanced Graph Neural Networks참고 문헌 20인용 수 32

한 줄 요약

이 논문은 노드 및 커뮤니티 임베딩을 폐쇄형 피드백 메커니즘을 통해 공동 최적화하는 첫 번째 방법인 ComE를 소개한다. 커뮤니티 인식 고차원 유사도를 모델링함으로써 ComE는 커뮤니티 탐지와 노드 분류 성능을 향상시켜 실제 데이터셋에서 최신 기준 대비 매크로-F1 기준 최대 43.5% 향상 및 NMI 기준 최대 7.8% 향상시킨다.

ABSTRACT

Most of the existing graph embedding methods focus on nodes, which aim to output a vector representation for each node in the graph such that two nodes being "close" on the graph are close too in the low-dimensional space. Despite the success of embedding individual nodes for graph analytics, we notice that an important concept of embedding communities (i.e., groups of nodes) is missing. Embedding communities is useful, not only for supporting various community-level applications, but also to help preserve community structure in graph embedding. In fact, we see community embedding as providing a higher-order proximity to define the node closeness, whereas most of the popular graph embedding methods focus on first-order and/or second-order proximities. To learn the community embedding, we hinge upon the insight that community embedding and node embedding reinforce with each other. As a result, we propose ComEmbed, the first community embedding method, which jointly optimizes the community embedding and node embedding together. We evaluate ComEmbed on real-world data sets. We show it outperforms the state-of-the-art baselines in both tasks of node classification and community prediction.

연구 동기 및 목표

• 그래프 표현 학습에서 커뮤니티 임베딩의 부재를 해결하기 위해, 대부분의 방법이 개별 노드에만 초점을 맞추는 데에 대비한다.
• 노드 임베딩을 통해 커뮤니티를 생성하고, 커뮤니티 임베딩을 통해 노드 임베딩를 개선하는 방식으로 커뮤니티 탐지와 임베딩 간의 루프를 닫는다.
• 일반적인 일차 및 이차 연결을 초월해 구조적 밀도를 포착하는 새로운 형태의 고차원 유사도—커뮤니티 인식 유사도—를 제안한다.
• 커뮤니티 임베딩이 커뮤니티 탐지 및 후속 노드 분류 작업 향상에 기여하는지 평가한다.

제안 방법

• ComE는 커뮤니티 구조가 노드 표현에 영향을 주고, 반대로 노드 표현이 커뮤니티 표현에 영향을 주는 폐쇄형 프레임워크를 사용해 노드 임베딩과 커뮤니티 임베딩을 공동 최적화한다.
• 커뮤니티 임베딩은 다변량 정규분포(평균 및 공분산)로 모델링되어, 임베딩 공간 내 커뮤니티 구성원의 공간 분포를 나타낸다.
• 노드가 동일한 커뮤니티에 속해 있더라도 직접적인 연결이나 공통된 맥락이 없더라도, 낮은 차원 공간에서 가까이 있도록 유도하는 새로운 커뮤니티 인식 고차원 유사도가 도입된다.
• 목적 함수는 일차 및 이차 유사도를 조합하고, 커뮤니티 임베딩 정보를 포함하는 정규화 항을 포함하며, 하이퍼파rameter α와 β에 의해 제어된다.
• 커뮤니티 탐지는 최적화된 노드 임베딩에 대해 가우시안 믹스처 모델(GMM)을 적용하여 수행되며, 엔드 투 엔드 학습을 가능하게 한다.
• 스토캐스틱 최적화와 음성 샘플링을 사용해 학습되며, 그래프 크기에 비례해 선형적으로 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 커뮤니티 임베딩은 노드 그룹에 대한 의미 있는 표현으로서 커뮤니티 탐지 성능 향상에 기여할 수 있는가?
• RQ2 기존의 일차 및 이차 유사도를 초월해 커뮤니티 임베딩은 노드 임베딩 향상에 어떻게 기여할 수 있는가?
• RQ3 노드 임베딩과 커뮤니티 임베딩 간의 폐쇄형 피드백이 커뮤니티 탐지 및 노드 분류 성능 향상에 기여하는가?
• RQ4 하이퍼파rameter α와 β는 서로 다른 유사도 유형 간의 트레이드오프 및 전체 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 모든 데이터셋에서 최고의 베이스라인 대비 컨덕턴스 기준 1.1%~2.8% 향상 및 NMI 기준 2.5%~7.8% 향상된 커뮤니티 예측 성능을 확보했다.
• 노드 분류에서 ComE는 최고의 베이스라인 대비 매크로-F1 기준 9.52%~43.5% 향상 및 마이크로-F1 기준 6.9%~19.4% 향상되었으며, p-value < 0.01로 통계적으로 유의미함을 확인했다.
• 모델은 빠르게 수렴하며, 학습 손실이 몇 차례 반복 이내에 안정화되며, 그래프 크기(|V| 및 |E|)에 비례해 선형적으로 처리 시간이 증가한다.
• 하이퍼파rameter 분석 결과, α = 0.1 및 β = 0.1에서 최적의 성능을 기록했으며, 둘 다 [0.001, 1] 범위 내에서 안정적인 성능을 보였다.
• 커뮤니티 인식 고차원 유사도는 직접적인 감독 없이도 구조적 밀도를 효과적으로 포착하여 더 나은 노드 표현을 가능하게 했다.
• ComE는 노드 및 커뮤니티 임베딩을 공동으로 학습함으로써 상호 보완적 향상이 이루어지며, 폐쇄형 설계의 타당성을 입증했다.