[논문 리뷰] Simulation and Augmentation of Social Networks for Building Deep Learning Models

Akanda Wahid -Ul- Ashraf, Marcin Budka외 1명|arXiv (Cornell University)|2019. 05. 22.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 잠재적 '사회적 DNA'(sDNA) 모델을 기반으로 하여 실제 레이블이 있는 기능 풍부한 동적 사회망을 시뮬레이션하는 프레임워크를 제안한다. 이는 그래프 컨volution 네트워크(GCN)의 고품질 학습 데이터를 가능하게 한다. 네 가지 새로운 GCN 변종을 도입하여 계층 순서 기반 이웃 전파에 대한 의존도를 줄였으며, 30개의 시뮬레이션 데이터셋 중 27개에서 원래 GCN보다 뛰어난 성능을 보였다. 이는 위상 기반 노드 유사도와 가중치가 부여된 특징 행렬을 통해 달성되었으며, 오픈소스 GPU 가속 시뮬레이션 라이브러리도 함께 제공된다.

ABSTRACT

A limitation of the Graph Convolutional Networks (GCNs) is that it assumes at a particular $l^{th}$ layer of the neural network model only the $l^{th}$ order neighbourhood nodes of a social network are influential. Furthermore, the GCN has been evaluated on citation and knowledge graphs, but not extensively on friendship-based social graphs. The drawback associated with the dependencies between layers and the order of node neighbourhood for the GCN can be more prevalent for friendship-based graphs. The evaluation of the full potential of the GCN on friendship-based social network requires openly available datasets in larger quantities. However, most available social network datasets are not complete. Also, the majority of the available social network datasets do not contain both the features and ground truth labels. In this work, firstly, we provide a guideline on simulating dynamic social networks, with ground truth labels and features, both coupled with the topology. Secondly, we introduce an open-source Python-based simulation library. We argue that the topology of the network is driven by a set of latent variables, termed as the social DNA (sDNA). We consider the sDNA as labels for the nodes. Finally, by evaluating on our simulated datasets, we propose four new variants of the GCN, mainly to overcome the limitation of dependency between the order of node-neighbourhood and a particular layer of the model. We then evaluate the performance of all the models and our results show that on 27 out of the 30 simulated datasets our proposed GCN variants outperform the original model.

연구 동기 및 목표

• 그래프 기반 딥러닝 모델 학습 및 평가를 위한 완전하고 레이블이 부여되며 기능이 풍부한 사회망 데이터셋의 부족 문제를 해결하기 위해.
• 잠재적 사회적 DNA(sDNA) 모델을 기반으로 하여 위상, 노드 기능, 실제 레이블을 통합한 동적 사회망의 체계적 시뮬레이션 프레임워크를 개발하기 위해.
• 기존 GCN에서 흔히 발생하는 계층 순서 기반 이웃 전파 의존성 문제를 해결하는 새로운 GCN 변종을 설계하고 평가하기 위해. 특히 친구 기반 사회망에서의 성능 향상을 목표로 한다.
• 사용자 정의 기능과 레이블을 갖춘 확장 가능한 합성 사회망을 위한 오픈소스, GPU 가속 파이썬 라이브러리를 제공하기 위해.

제안 방법

• 노드 수준의 잠재적 특성인 '사회적 DNA'(sDNA)로 구성된 네트워크 위상을 기반으로 하는 사회망 시뮬레이션 프레임워크를 제안하며, sDNA는 실제 레이블로 기능한다.
• Katz, RPR, GG 점수를 활용한 노드 유사도 기반 보정 기법을 도입하여 동일한 그래프에 대해 여러 위상 표현을 생성함으로써 모델 일반화 능력을 향상시킨다.
• 네 가지 새로운 GCN 변종을 개발한다: (1) Katz/RPR/GG로 위상 인코딩된 유사도 행렬을 활용한 GCN, (2) 노드에 독립적인 학습 가능한 전역 특징 파rameter를 갖춘 GCN, (3) 특징 중요도를 반영하기 위해 가중치가 부여된 특징 행렬을 사용하는 GCN, (4) 오버피팅을 줄이기 위해 가중치 행렬의 저랭크 근사 기법을 적용한 GCN.
• 노드 유사도 행렬에 재구성 기법을 적용하여 증강된 그래프 샘플을 생성함으로써 학습 중 오버피팅을 방지하는 정규화 기법으로 기능시킨다.
• 다양한 훈련 샘플을 생성하기 위해 노드 유사도 행렬에 임계값 기반 선택 프로세스를 적용하며, 평가를 위해 경험적으로 선택된 임계값을 사용한다.
• 사용자 정의 기능과 레이블을 갖춘 확장 가능한 합성 사회망을 위한 GPU 가속, 다중프로세싱 지원 파이썬 라이브러리(VirtualSoc)를 개발하고 오픈소스로 공개한다.

실험 결과

연구 질문

• RQ1 합성 사회망 시뮬레이션 프레임워크는 실제 사회망의 동적 특성을 반영하며, 노드 기능과 실제 레이블이 모두 포함된 현실적인 완전한 데이터셋을 생성할 수 있는가?
• RQ2 계층 순서에 의존하지 않는 이웃 전파 기반 GCN 변종이 기존 GCN 대비 친구 기반 사회망에서 성능 향상에 얼마나 기여하는가?
• RQ3 위상 인코딩된 노드 유사도(Katz, RPR, GG)와 가중치가 부여된 특징 행렬의 통합은 합성 사회망 데이터에서 GCN 성능 향상에 얼마나 효과적인가?
• RQ4 다양한 임계값과 유사도 측정 기준에서 유도된 증강된 노드 유사도 행렬은 GCN 일반화 능력을 향상시키는 정규화 데이터 증강 기법으로서 효과적인가?
• RQ5 위상 정보만을 사용하는 GCN 모델이 특징과 위상 정보를 모두 사용하는 모델보다 성능이 뛰어난 조건은 언제이며, 저랭크 가중치 행렬 근사와 같은 아키텍처 수정을 통해 이를 완화할 수 있는가?

주요 결과

• 제안된 GCN 변종은 30개의 시뮬레이션 데이터셋 중 27개에서 원래 GCN보다 뛰어난 성능을 보이며, 노드 분류 정확도 향상이 뚜렷하게 나타났다.
• 가중치가 부여된 특징 행렬을 사용한 GCN 변종은 30개 데이터셋 중 27개에서 위상 전용 모델보다 뛰어난 성능을 보였으며, 특징 통합 과정의 효과성을 확인했다.
• 세 개의 데이터셋에서는 위상 전용 모델이 특징+위상 모델보다 뛰어났으며, 이는 특징이 위상에 의해 중복되거나 잘 표현되지 않았음을 시사한다. 이 문제는 저랭크 가중치 행렬 근사를 통해 오버피팅을 줄임으로써 완화되었다.
• 다양한 임계값과 유사도 측정 기준에서 유도된 증강된 노드 유사도 행렬을 활용함으로써 모델 일반화 능력이 향상되었으며, GCN 학습 중 오버피팅을 효과적으로 방지하는 정규화 기법으로 기능했다.
• 제안된 시뮬레이션 프레임워크는 sDNA 모델이 예측 가능하고, 레이블 일관성을 갖춘 노드 분류를 가능하게 하여 합성 데이터의 현실성과 유용성을 입증했다.
• 오픈소스 VirtualSoc 라이브러리는 사용자 정의 기능과 레이블을 갖춘 대규모 동적 사회망을 고성능 GPU 가속으로 시뮬레이션할 수 있도록 하여 향후 그래프 딥러닝 연구를 지원한다.