[논문 리뷰] Joint embedding of structure and features via graph convolutional networks

Sébastien Lerique, Jacob Levy Abitbol외 1명|arXiv (Cornell University)|2019. 05. 21.

Advanced Graph Neural Networks참고 문헌 69인용 수 31

한 줄 요약

이 논문은 노드 특징, 네트워크 구조, 공유된 특징-구조 정보를 별개의 임bedding 차원으로 분리하는 다중작업 그래프 컨volutional 변동형 오토인코더인 AN2VEC을 제안한다. 공유된 잠재 차원을 통해 이들 구성요소를 함께 학습함으로써 재구성 성능이 향상되며, 특히 특징-구조 상관관계가 높을 경우 공유 정보가 없는 모델보다 우수한 성능을 보인다.

ABSTRACT

The creation of social ties is largely determined by the entangled effects of people's similarities in terms of individual characters and friends. However, feature and structural characters of people usually appear to be correlated, making it difficult to determine which has greater responsibility in the formation of the emergent network structure. We propose \\emph{AN2VEC}, a node embedding method which ultimately aims at disentangling the information shared by the structure of a network and the features of its nodes. Building on the recent developments of Graph Convolutional Networks (GCN), we develop a multitask GCN Variational Autoencoder where different dimensions of the generated embeddings can be dedicated to encoding feature information, network structure, and shared feature-network information. We explore the interaction between these disentangled characters by comparing the embedding reconstruction performance to a baseline case where no shared information is extracted. We use synthetic datasets with different levels of interdependency between feature and network characters and show (i) that shallow embeddings relying on shared information perform better than the corresponding reference with unshared information, (ii) that this performance gap increases with the correlation between network and feature structure, and (iii) that our embedding is able to capture joint information of structure and features. Our method can be relevant for the analysis and prediction of any featured network structure ranging from online social systems to network medicine.

연구 동기 및 목표

• 특성화된 네트워크에서 노드 특징과 네트워크 구조의 얽힌 영향을 분리하는 문제를 다루기 위해.
• 특징 유사성과 구조적 연결성을 함께 모델링하는 방법을 개발하여 네트워크 형성에 기여하는 요소들을 별도로 분석할 수 있도록 하기 위해.
• 특징과 구조 간의 공유 정보가 독립적으로 처리하는 모델에 비해 임베딩 재구성 성능을 향상시키는지 평가하기 위해.
• 노드의 중요성이 구조적 특성인지 특징 기반 특성인지 식별함으로써 네트워크 내 노드 역할을 해석할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• AN2VEC는 다중작업 그래프 컨volutional 변동형 오토인코더(GCN-VAE)를 사용하여 특징 전용, 구조 전용, 공유된 특징-구조 차원을 포함한 분리된 구성요소를 가진 노드 임베딩을 학습한다.
• 특징, 인접 구조, 그리고 그들의 중첩에 대해 별개의 잠재공간 구성요소를 사용하며, 공동 정보를 인코딩하기 위해 공유된 블로킹 레이어를 활용한다.
• 잠재공간에 변동형 추론 프레임워크를 적용하여 KL 발산 정규화를 사용해 분리성과 모델 안정성을 확보한다.
• 노드 특징과 인접 행렬 양측에 대한 재구성 손실을 사용하여 엔드 투 엔드로 모델을 훈련하며, 별도의 디코더를 통해 인접성 예측을 수행한다.
• 제거 실험을 지원하기 위해 다양한 변형을 제공한다: AN2VEC-0(공유 차원 없음), AN2VEC-16(16개의 공유 차원), 비교를 위한 얕은 인접성 디코더.
• 특징 패턴과 구조 패턴 간 조절 가능한 상관관계를 가진 합성 데이터셋을 사용하여 통제된 조건 하에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 노드 특징과 네트워크 구조 간의 정보 공유가 독립적 모델링에 비해 임베딩 재구성 성능을 얼마나 향상시키는가?
• RQ2 특징 패턴과 구조 패턴 간 상관관계가 증가함에 따라 공유 모델과 비공유 모델 간의 성능 격차는 어떻게 변화하는가?
• RQ3 특징과 구조가 상관관계가 있을 때 임베딩의 공유 구성요소가 공동 정보를 효과적으로 포착할 수 있는가?
• RQ4 분리된 표현이 노드 중요성의 기원(구조적 또는 특징 기반)을 더 잘 식별할 수 있는가?

주요 결과

• 공유된 특징-구조 정보를 활용하는 얕은 임베딩(AN2VEC-16)은 공유 정보가 없는 기준 모델(AN2VEC-0)보다 인접 행렬 재구성에서 뚜렷한 성능 향상을 보였다.
• 합성 네트워크에서 특징과 구조 패턴 간 상관관계가 높아질수록 공유 모델과 비공유 모델 간의 성능 격차가 커졌다.
• 16차원의 공유 구성요소는 특징과 구조가 상관관계가 있을 때 개선된 재구성 정확도를 통해 공동 정보를 일관되게 포착함을 입증했다.
• 모델은 특징, 구조, 공동 정보를 성공적으로 분리하여 노드 역할과 네트워크 형성 메커니즘에 대한 해석 가능한 분석을 가능하게 했다.
• 합성 데이터셋에서 AN2VEC-16은 AN2VEC-0보다 더 높은 AUC 및 AP 스코어를 기록했으며, 특히 특징과 구조가 높은 상관관계를 보일 경우 두드러진 성능 향상을 보였다.
• 실제 데이터베이스(Cora, CiteSeer, PubMed)에서의 실험을 통해 안정성과 확장성을 입증했으며, 사회적 네트워크 분석 및 네트워크 의학 분야의 응용 가능성을 보여주었다.