[논문 리뷰] Preserving Local and Global Information for Network Embedding

Yao Ma, Suhang Wang외 3명|arXiv (Cornell University)|2017. 10. 19.

Advanced Graph Neural Networks참고 문헌 20인용 수 4

한 줄 요약

이 논문은 로컬 구조적 정보와 글로벌 노드 상태(예: PageRank)를 동시에 모델링하여 표현 학습을 향상시키는 새로운 네트워크 임bedding 프레임워크 LOG를 제안한다. 가중치 조정이 가능한 하이퍼파ram터 λ를 통해 로컬 및 글로벌 신호를 통합함으로써, 링크 예측에서 최신 기법들을 일관되게 능가한다. 이는 글로벌 정보가 로컬 구조를 보완하고 표현 품질을 향상시킨다는 것을 보여준다.

ABSTRACT

Networks such as social networks, airplane networks, and citation networks are ubiquitous. The adjacency matrix is often adopted to represent a network, which is usually high dimensional and sparse. However, to apply advanced machine learning algorithms to network data, low-dimensional and continuous representations are desired. To achieve this goal, many network embedding methods have been proposed recently. The majority of existing methods facilitate the local information i.e. local connections between nodes, to learn the representations, while completely neglecting global information (or node status), which has been proven to boost numerous network mining tasks such as link prediction and social recommendation. Hence, it also has potential to advance network embedding. In this paper, we study the problem of preserving local and global information for network embedding. In particular, we introduce an approach to capture global information and propose a network embedding framework LOG, which can coherently model {\bf LO}cal and {\bf G}lobal information. Experimental results demonstrate the ability to preserve global information of the proposed framework. Further experiments are conducted to demonstrate the effectiveness of learned representations of the proposed framework.

연구 동기 및 목표

• 기존 네트워크 임베딩 기법들이 로컬 연결성에만 집중하면서 글로벌 노드 상태를 간과하는 한계를 해결한다.
• 노드 중심성 또는 영향력과 같은 네트워크 내 글로벌 정보를 수학적으로 포괄하는 원리적인 방법을 개발한다.
• 로컬 및 글로벌 정보를 일관적으로 통합하여 향상된 노드 표현 학습을 위한 통합 프레임워크를 설계한다.
• 링크 예측과 같은 후행 네트워크 분석 작업에서 로컬 및 글로벌 신호의 조합이 어떻게 성능을 향상시키는지 입증한다.

제안 방법

• 노드 상태 점수, 특히 PageRank를 사용해 글로벌 중요성을 수량화함으로써 글로벌 정보를 모델링한다.
• 로컬 유사도(예: 일차 및 이차 유사도)와 글로벌 상태 유지의 가중 조합으로 네트워크 임베딩 목적함수를 수립한다.
• 최적화 목표에서 글로벌 정보 기여도를 로컬 구조에 대비해 조절하기 위해 하이퍼파ram터 λ를 도입한다.
• 예측된 로컬 및 글로벌 유사도와 실제 값 간의 차이를 최소화하기 위해 확률적 경사 하강법을 사용해 임베딩을 최적화한다.
• 글로벌 상태 점수를 임베딩 공간으로 매핑하기 위해 선형 변환을 사용함으로써 로컬 구조와 함께 공동 최적화를 가능하게 한다.
• 엔드 투 엔드로 모델을 훈련하여 로컬 및 글로벌 네트워크 특성을 모두 유지하는 저차원 연속적 노드 표현을 학습한다.

실험 결과

연구 질문

• RQ1 PageRank와 같은 글로벌 노드 상태는 네트워크 임베딩에 효과적으로 모델링되고 통합될 수 있는가?
• RQ2 로컬 및 글로벌 정보를 통합할 경우 학습된 노드 표현의 품질에 어떤 영향을 미치는가?
• RQ3 네트워크 표현 학습에서 로컬 및 글로벌 정보 간의 최적 균형은 무엇인가?
• RQ4 순수하게 로컬 기반 방법에 비해 글로벌 정보를 통합함으로써 링크 예측과 같은 후행 작업 성능이 향상되는가?

주요 결과

• LOG(0.3)는 두 개의 실세계 데이터셋에서 링크 예측 및 AUC 메트릭 모두에서 LINE 및 DeepWalk을 포함한 모든 베이스라인을 일관되게 능가한다.
• LOG(0) — 즉, 로컬 정보만 사용하는 경우 — LINE과 유사한 성능을 보이며, 모델의 로컬 학습 능력을 검증한다.
• LOG의 성능은 λ 증가함에 따라 향상되며, 약 λ = 0.3에서 최고에 도달한 후 성장 평준선을 이룹니다. 이는 이 설정에서 충분한 글로벌 정보가 포착됨을 시사한다.
• 임베딩 차원이 96를 초과할 경우 성능이 안정적이므로, 128차원은 수렴에 충분하다고 판단된다.
• 글로벌 정보만 사용하는 경우(GINe)도 상당히 잘 성능을 내어, 로컬 구조에 대한 보완 신호로서의 가치를 확인한다.
• 글로벌 정보의 통합은 링크 예측 정확도와 AUC에 있어 뚜렷하고 일관된 향상을 이끌어내어, 로컬 및 글로벌 신호가 상호 보완적임을 입증한다.