[논문 리뷰] SPINE: Structural Identity Preserved Inductive Network Embedding

Junliang Guo, Linli Xu외 1명|arXiv (Cornell University)|2018. 02. 12.

Advanced Graph Neural Networks참고 문헌 38인용 수 7

한 줄 요약

SPINE는 루트 기반 페이지랭크 기반의 구조적 특징과 편향된 스킵그램 음성 샘플링 전략을 활용하여 국소적 밀접도와 전반적 구조적 신원을 동시에 유지하는 인덕티브 네트워크 임베딩 프레임워크를 제안한다. 이는 일반화 가능하고 엔드 투 엔드로 훈련 가능한 방식으로 국소적 및 고차원 구조적 정보를 효과적으로 인코딩함으로써, 이행적 및 인덕티브 노드 분류 및 링크 예측 작업에서 최고 성능을 달성한다.

ABSTRACT

Recent advances in the field of network embedding have shown that low-dimensional network representation is playing a critical role in network analysis. Most existing network embedding methods encode the local proximity of a node, such as the first- and second-order proximities. While being efficient, these methods are short of leveraging the global structural information between nodes distant from each other. In addition, most existing methods learn embeddings on one single fixed network, and thus cannot be generalized to unseen nodes or networks without retraining. In this paper we present SPINE, a method that can jointly capture the local proximity and proximities at any distance, while being inductive to efficiently deal with unseen nodes or networks. Extensive experimental results on benchmark datasets demonstrate the superiority of the proposed framework over the state of the art.

연구 동기 및 목표

• 기존의 네트워크 임베딩 방법이 국소적 밀착도와 전반적 구조적 신원을 동시에 유지하지 못하는 한계를 해결하기 위해.
• 재학습 없이도 새로운 노드 또는 네트워크로 일반화할 수 있는 인덕티브 프레임워크를 개발하기 위해.
• 근접한 이웃이 아닌 임의의 거리에 있는 노드들 간의 구조적 신원(역할 또는 위치)을 모델링하기 위해.
• 루트 기반 페이지랭크에서 유도된 구조적 특징을 엔드 투 엔드 학습 프레임워크에 통합하여 표현 학습을 향상시키기 위해.
• 스킵그램 음성 샘플링에서 구조적 유사도에 기반한 새로운 양성 샘플링 전략을 설계하여 임베딩에 구조적 정보를 강화하기 위해.

제안 방법

• 고차원 구조적 신원을 캡처하기 위해 각 노드에 루트 기반 페이지랭크(RPR)를 사용하여 구조적 특징 벡터를 할당한다.
• 이웃 노드의 구조적 특징과 콘텐츠 특징을 집계하여 노드 표현을 학습하는 임베딩 생성기를 구축한다.
• 노드 간의 구조적 유사도 점수에 따라 유도되는 편향된 스킵그램 음성 샘플링(SGNS) 방법을 도입하여 양성 샘플링 전략을 설계한다.
• 대비 학습을 통해 국소적 밀착도와 구조적 신원 보존을 동시에 최적화하는 공동 목적 함수를 설계한다.
• 새로운 노드 또는 네트워크로 일반화할 수 있는 저차원 임베딩을 생성하기 위해 다층 신경망을 활용한다.
• 구조적 특징을 임베딩 공간으로 매핑하기 위한 학습 가능한 파라미터 행렬을 사용하여 인덕티브 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 국소적 밀착도와 구조적 신원(즉, 노드 역할)을 임의의 거리에 걸쳐 동시에 보존할 수 있는 네트워크 임베딩 방법은 가능한가?
• RQ2 재학습 없이도 새로운 노드 또는 새로운 네트워크로 일반화할 수 있는 인덕티브 프레임워크는 가능한가?
• RQ3 루트 기반 페이지랭크에서 유도된 구조적 특징을 통합하면 국소적 밀착도에만 의존하는 방법보다 학습된 임베딩의 품질이 향상되는가?
• RQ4 노드 간 연결 제거 또는 콘텐츠 변경과 같은 구조적 흐트림에 대해 제안된 방법은 얼마나 강건한가?
• RQ5 SGNS에서 구조적 유사도에 기반한 편향된 양성 샘플링 전략은 임베딩 공간 내에서 구조적 신원 보존을 향상시키는가?

주요 결과

• SPINE는 벤치마크 데이터셋에서 이행적 및 인덕티브 노드 분류 및 링크 예측 작업에서 최고 성능을 달성한다.
• FB-686 데이터셋에서 SPINE는 연결된 노드 쌍과 미러링된 노드 쌍 간 평균 거리의 비율을 5.72로 낮추었으며, struc2vec의 13.40보다 유의미하게 낮아 국소적 및 구조적 밀착도 간의 분리가 더 명확함을 시사한다.
• 30%의 간선 제거 조건에서도 SPINE는 연결된 노드 쌍과 미러링된 노드 쌍 간 거리 비율을 안정적으로 5.72로 유지하여 구조적 흐트림에 대해 강건함을 입증한다.
• 임베딩 공간에서 미러링된 노드 쌍 간 유클리드 거리가 작다는 점에서, SPINE는 struc2vec보다 더 명확하게 구조적 신원을 보존한다.
• 구조적 유사도에 기반한 편향된 SGNS와 함께 제안된 양성 샘플링 전략은 국소적 및 전반적 구조적 관계를 더 잘 구분하는 임베딩을 생성한다.
• SPINE는 재학습 없이도 새로운 노드나 네트워크로 효과적으로 일반화하며, 엔드 투 엔드로 훈련 가능한 생성기 아키텍처 덕분에 이행적 방법보다 인덕티브 환경에서 더 뛰어난 성능을 보인다.