[논문 리뷰] GEMSEC: Graph Embedding with Self Clustering

Benedek Rózemberczki, Ryan Davies외 2명|arXiv (Cornell University)|2018. 02. 12.

Complex Network Analysis Techniques참고 문헌 40인용 수 66

한 줄 요약

GEMSEC는 neighborhood 보존 및 사회-정규화 클러스터링으로 안내되는 노드 임베딩을 공동 학습하여 경쟁력 있는 커뮤니티 탐지 및 다운스트림 작업을 가능하게 한다.

ABSTRACT

Modern graph embedding procedures can efficiently process graphs with millions of nodes. In this paper, we propose GEMSEC -- a graph embedding algorithm which learns a clustering of the nodes simultaneously with computing their embedding. GEMSEC is a general extension of earlier work in the domain of sequence-based graph embedding. GEMSEC places nodes in an abstract feature space where the vertex features minimize the negative log-likelihood of preserving sampled vertex neighborhoods, and it incorporates known social network properties through a machine learning regularization. We present two new social network datasets and show that by simultaneously considering the embedding and clustering problems with respect to social properties, GEMSEC extracts high-quality clusters competitive with or superior to other community detection algorithms. In experiments, the method is found to be computationally efficient and robust to the choice of hyperparameters.

연구 동기 및 목표

• 임베딩 목표에 클러스터링을 통합하여 그래프 임베딩 내 커뮤니티 탐지를 개선하려는 동기를 제시한다.
• 임베딩과 클러스터링 목표를 함께 최적화하는 확장 가능하고 시퀀스 기반의 임베딩 방법을 개발한다.
• 정규화를 통해 사회 네트워크 특성을 반영하여 응집력 있고 자연스러운 커뮤니티를 생성한다.
• 대형 그래프에 대한 확장성과 하이퍼파라미터 설정에 대한 강인성을 입증한다.
• 새로운 사회 연결망 데이터 세트를 제공하고 향상된 클러스터링 및 다운스트림 작업을 입증한다.

제안 방법

• 임베딩 목표와 함께 클러스터링 비용을 포함하도록 skip-gram 스타일 임베딩을 확장한다.
• 분할 함수를 근사하고 확장 가능한 최적화를 가능하게 하기 위해 음수 샘플링을 사용한다.
• 조기 클러스터링이 임베딩을 지배하는 것을 방지하기 위해 어닐링된 클러스터링 가중치 γ를 도입한다.
• 이웃 중첩을 가중치로 사용하는 매끄러운 정규화 항을 도입하여 임베딩이 커뮤니티와 더 잘 정렬되도록 한다.
• 그래디언트 기반 업데이트(Adam)를 통해 노드 표현 f(v)와 클러스터 중심 μ를 최적화하고, 기울기에 대한 명시적 식을 제공한다.
• GEMSEC를 위한 TensorFlow 기반 구현과 학습 절차(Algorithm 1)를 제공한다.

실험 결과

연구 질문

• RQ1 임베딩과 클러스터링을 함께 학습하여 커뮤니티 인지 표현을 개선할 수 있는가?
• RQ2 표준 이웃 보존 임베딩 대비 모듈성 및 클러스터링 품질을 향상시키려면 클러스터링 목표를 추가하는 것이 효과가 있는가?
• RQ3 이웃 중첩에 기반한 매끄러운 정규화가 커뮤니티 응집성과 하이퍼파라미터에 대한 강인성에 어떤 영향을 미치는가?
• RQ4 GEMSEC 변형이 대형 그래프에 확장 가능하고 매개변수 선택에 강인한가?
• RQ5 GEMSEC로 학습된 임베딩이 음악 장르 추천과 같은 다운스트림 작업을 개선하는가?

주요 결과

• GEMSEC의 변형은 Facebook 데이터셋에서 이웃 기반 및 커뮤니티 인식 기준선들보다 더 높은 모듈성를 달성한다.
• 정규화(매끄러운 GEMSEC)는 하이퍼파라미터 변화에 대한 강인성과 클러스터링 품질을 일관되게 향상시킨다.
• GEMSEC2와 Smooth GEMSEC2는 종종 기준선보다 우수하며, 일부 데이터셋에서 눈에 띄는 향상을 보인다(예: Athletes).
• Deezer 음악 장르 예측에서 GEMSEC2는 크로아티아, 헝가리, 루마니아에서 경쟁 방법보다 더 높은 F1 점수를 얻는다.
• 이 방법은 그래프 크기에 대해 선형적으로 스케일링되며 그래프가 커져도 효율성을 유지한다.
• 실험 결과 합동 임베딩과 클러스터링이 자연스럽고 잘 구분된 커뮤니티와 향상된 다운스트림 성능을 낳는다는 것을 시사한다.