[논문 리뷰] CONE: Community Oriented Network Embedding

Carl Yang, Hanqing Lu외 1명|arXiv (Cornell University)|2017. 09. 05.

Complex Network Analysis Techniques참고 문헌 34인용 수 5

한 줄 요약

CONE는 소수의 레이블된 커뮤니티를 활용하여 지도 학습을 통해 기반 사회적 패턴을 학습하는 커뮤니티 중심의 네트워크 임베딩 방법을 제안한다. 이는 전통적인 간선 밀도 및 노드 동질성 가정을 뛰어넘어, 복잡하고 흐린, 변동성이 있는 커뮤니티 구조를 포괄한다. 그래프 랜덤 워크와 RNN을 조합하여 콘텐츠 및 구조 패턴을 모델링함으로써, 일반 클러스터링을 통해 레이블이 없는 커뮤니티를 더 정확하게 탐지할 수 있는 임베딩을 생성한다. 특히 하이퍼디멘셔널이고 노이즈가 많은 콘텐츠(예: 해시태그, 원시 텍스트)를 가진 네트워크에서 뛰어난 성능을 발휘한다.

ABSTRACT

Detecting communities has long been popular in the research on networks. It is usually modeled as an unsupervised clustering problem on graphs, based on heuristic assumptions about community characteristics, such as edge density and node homogeneity. In this work, we doubt the universality of these widely adopted assumptions and compare human labeled communities with machine predicted ones obtained via various mainstream algorithms. Based on supportive results, we argue that communities are defined by various social patterns and unsupervised learning based on heuristics is incapable of capturing all of them. Therefore, we propose to inject supervision into community detection through Community Oriented Network Embedding (CONE), which leverages limited ground-truth communities as examples to learn an embedding model aware of the social patterns underlying them. Specifically, a deep architecture is developed by combining recurrent neural networks with random-walks on graphs towards capturing social patterns directed by ground-truth communities. Generic clustering algorithms on the embeddings of other nodes produced by the learned model then effectively reveals more communities that share similar social patterns with the ground-truth ones.

연구 동기 및 목표

• 커뮤니티 탐지에 널리 사용되는 가정인 간선 밀도와 노드 동질성의 보편성을 도전하기 위해, 실제 커뮤니티 구조에서 이러한 가정의 한계를 입증한다.
• 히우리스틱 가정에 의해 포착되지 않는 복잡하고 흐리며 맥락 특화된 사회적 패턴을 정의하는 커뮤니티를 탐지하지 못하는 기존 알고리즘의 격차를 해결한다.
• 소수의 레이블된 커뮤니티에서 학습하여, 네트워크의 다른 부분이나 다른 네트워크에서 유사한 커뮤니티를 일반화하여 탐지할 수 있는 방법을 개발한다.
• 노드 콘텐츠, 네트워크 구조, 커뮤니티 감독을 효과적으로 통합하여 rich하고 맥락 인식 가능한 사회적 패턴을 모델링하는 딥 러닝 프레임워크를 구축한다.
• 기존 방법이 성능을 발휘하지 못하는 고차원적이고 노이즈가 많은 콘텐츠(예: 원시 텍스트, 해시태그)를 가진 네트워크에서 신뢰할 수 있는 비지도 커뮤니티 탐지 기능을 제공한다.

제안 방법

• CONE는 그래프 랜덤 워크와 순환 신경망(RNN)을 조합한 딥 아키텍처를 사용하여 노드 이웃의 순차적 구조와 콘텐츠를 모델링한다.
• 각 레이블된 커뮤니티를 감독 신호로 간주하여, 동일 커뮤니티에 속한 노드가 임베딩 공간에서 가까이 위치하도록 모델을 훈련한다.
• 랜덤 워크 시퀀스를 기반으로 RNN을 통해 노드 콘텐츠(예: 텍스트, 속성)와 국소 네트워크 구조를 동시에 모델링함으로써 사회적 패턴을 학습한다.
• 컨텍스트 예측을 사용하는 skip-gram 모델과 달리, CONE는 커뮤니티 소속을 직접 감독 신호로 활용하여 동일 커뮤니티 소속 노드가 가까이 임베딩되도록 보장한다.
• 경로 기반 근사치에 의존하지 않고, 네트워크 구조를 정규화하여 국소 구조적 맥락이 유지되도록 한다.
• 훈련 후, 학습된 임베딩에 일반 클러스터링(예: K-means)을 적용하여 새로운 레이블이 없는 커뮤니티를 탐지한다.

실험 결과

연구 질문

• RQ1 실제 커뮤니티, 특히 인간이 레이블링하거나 자연적으로 발생한 그룹에서 간선 밀도와 노드 동질성의 가정이 보편적으로 성립하는가?
• RQ2 히우리스틱적인 구조적 가정에 의존하지 않고, 기반 사회적 패턴을 반영하는 소수의 레이블된 커뮤니티에서 학습함으로써 커뮤니티 탐지 성능을 향상시킬 수 있는가?
• RQ3 콘텐츠와 구조를 통합하는 딥 러닝 프레임워크를 통해 네트워크에서 복잡하고 흐리며 맥락 특화된 사회적 패턴을 모델링하는 것이 가능한가?
• RQ4 커뮤니티 수준의 감독을 활용하는 지도 학습 기반 네트워크 임베딩 접근법이, 아직 보지 못한 네트워크 부분이나 다른 네트워크에서 커뮤니티를 일반화하여 탐지할 수 있는가?
• RQ5 고차원적이고 노이즈가 많은 콘텐츠(예: 원시 텍스트, 해시태그)를 가진 네트워크에서 CONE이 비지도 및 준지도 기반 방법보다 어떻게 성능을 발휘하는가?

주요 결과

• 실제 커뮤니티에서는 높은 간선 밀도나 강한 노드 동질성이 빈번히 부족하여, 대부분의 커뮤니티 탐지 알고리즘에서 사용되는 전통적 가정의 타당성이 의심스럽다.
• CONE은 DeepWalk, LINE, node2vec와 같은 비지도 학습 방법보다 커뮤니티 탐지 과제에서 뚜렷한 성능 향상을 보이며, 특히 고차원적이고 노이즈가 많은 콘텐츠를 가진 네트워크에서 뛰어난 성능을 발휘한다.
• DBLP 및 Foursquare와 같은 벤치마크 데이터셋에서 복잡한 사회적 패턴에 의해 정의된 커뮤니티에서는 간선 연결성만으로 정의되는 단순한 연결성 기반 커뮤니티보다 더 높은 클러스터링 정확도를 달성한다.
• CONE는 원시 텍스트나 해시태그 시퀀스와 같은 노이즈가 많고 고차원적인 콘텐츠에 대해 뛰어난 강인성을 보이며, 기존의 콘텐츠 보강 방법이 특징 표현이 열악하여 실패하는 상황에서도 유의미한 성능을 발휘한다.
• 랜덤 워크 시퀀스를 기반으로 한 RNN 사용은 경로 기반 샘플링 방법보다 국소적인 구조적 및 콘텐츠 패턴을 더 잘 포착하여 노드 임베딩의 일반화 능력을 향상시킨다.
• CONE 임베딩에 기반한 클러스터링은 레이블 예시가 흐린 상황에서도 지속적으로 새로운 의미 있는 커뮤니티를 탐지하며, 지표 레이블과 잘 일치한다.