[논문 리뷰] Node Representation Learning for Multiple Networks: The Case of Graph Alignment.

Mark Heimann, Haoming Shen외 1명|arXiv (Cornell University)|2018. 02. 17.

Advanced Graph Neural Networks참고 문헌 34인용 수 7

한 줄 요약

이 논문은 크로스넷워크 행렬 분해와 니스트롬 근사법을 사용한 스케일러블한 노드 표현 학습 방법인 xNetMF를 제안하며, 효율적이고 정확한 그래프 애라이어먼트를 가능하게 한다. 이는 표현 기반 그래프 애라이어먼트 방법 중 최초로, 대규모 네트워크(수백만 개의 노드 포함)에서 기존 방법보다 20–30% 높은 정확도와 최대 30배 빠른 훈련 속도를 달성한다.

ABSTRACT

Recent advances in representation learning produce node embeddings that may be used successfully in many downstream tasks (e.g., link prediction), but do not generally extend beyond a single network. Motivated by the prevalence of multi-network problems, such as graph alignment, similarity, and transfer learning, we introduce an elegant and principled node embedding formulation, Cross-network Matrix Factorization or xNetMF, to effectively and efficiently learn embeddings from similarities based on the nodes' structural and attribute identities (if available), which are comparable across networks. Leveraging the Nystr\om method for low-rank approximation, we achieve significant reduction in space and time compared to the na\ive approach of directly factorizing the node similarity matrix, with xNetMF running up to 30x faster than existing representation learning methods. We study its effectiveness on the task of network alignment, and introduce REGAL (REpresentation-based Graph ALignment), the first method to use node representation learning for this task. Extensive experiments on a variety of challenging real-world networks with and without attributes show that REGAL outperforms existing network alignment methods by 20 to 30% in accuracy on average, uses attributes up to 40x faster, and scales to networks with millions of nodes each.

연구 동기 및 목표

• 기존의 노드 표현 학습 방법이 단일 네트워크에 국한되어 있음을 고려할 때, 특히 그래프 애라이어먼트와 같은 다중 네트워크 작업에서의 격차를 메우기 위해.
• 구조적 및 속성 유사성 기반으로 다중 네트워크 간 비교 가능한 노드 임베딩을 학습할 수 있는 원리적이고 스케일러블한 방법을 개발하기 위해.
• 저랭크 근사법을 통해 계산 및 메모리 비용을 감소시켜 대규모 네트워크에 대한 효율적인 표현 학습을 가능하게 하기 위해.
• 학습된 노드 표현을 활용하여 정확도와 속도를 향상시키는 새로운 그래프 애라이어먼트 방법인 REGAL을 설계하기 위해.
• 실제 데이터셋(속성이 있는 경우와 없는 경우)을 대상으로 본 연구 방법의 효과성을 입증하여 스케일러비리티와 성능 면에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 노드 유사성은 구조적 및 속성 정체성 기반으로 모델링하는 크로스넷워크 행렬 분해(xNetMF)를 사용하여 다중 네트워크 간 노드 표현 학습을 수식화한다.
• 전체 노드 유사성 행렬의 근사를 위해 니스트롬 방법을 적용하여 직접 분해에 비해 공간 및 시간 복잡도를 크게 감소시킨다.
• 근사된 유사성 행렬을 인수분해하여 저차원 임베딩을 학습함으로써 네트워크 간 효율적이고 비교 가능한 표현을 가능하게 한다.
• 학습된 임베딩을 새로운 그래프 애라이어먼트 프레임워크인 REGAL에 통합하여, 구조적 특징에만 의존하는 것 대신 표현 기반 매칭을 사용한다.
• 학습된 임베딩을 활용해 애라이어먼트 목표를 최적화함으로써 더 빠른 수렴과 향상된 애라이어먼트 정확도를 달성한다.
• 니스트롬 기반 저랭크 근사법의 효율성을 활용하여 수백만 개의 노드를 포함하는 네트워크에까지 방법을 확장한다.

실험 결과

연구 질문

• RQ1 다중 네트워크 간 비교 가능한 임베딩을 생성할 수 있는 통합된 노드 표현 학습 프레임워크를 설계할 수 있는가?
• RQ2 xNetMF에서 니스트롬 기반 저랭크 근사법이 정확도를 희생시키지 않고 효율성을 어떻게 향상시키는가?
• RQ3 구조적 방법에 비해 학습된 노드 표현을 사용할 경우 그래프 애라이어먼트 성능은 어느 정도 향상되는가?
• RQ4 제안된 REGAL 방법은 수백만 개의 노드를 포함하는 대규모 네트워크에 어떻게 스케일링되며, 기존의 애라이어먼트 기법과 비교해 속도와 정확도 면에서 어떤가?
• RQ5 이 방법은 노드 속성을 얼마나 효과적으로 활용할 수 있으며, 비속성 기반 기준 대비 성능 향상은 어느 정도인가?

주요 결과

• REGAL은 기존 최고 수준의 네트워크 애라이어먼트 방법 대비 평균 20–30% 높은 정확도를 달성한다.
• xNetMF는 저랭크 행렬 분해를 위한 니스트롬 근사법을 사용함으로써 기존 표현 학습 방법 대비 최대 30배 빠른 속도로 실행된다.
• 이 방법은 네트워크당 수백만 개의 노드를 처리할 수 있어 실제 대규모 실세계 데이터셋에 대한 실용적 응용을 가능하게 한다.
• 속성이 제공되는 경우, REGAL은 기준 방법 대비 최대 40배 빠른 속도로 속성을 활용하여 훈련 효율성을 크게 향상시킨다.
• 학습된 임베딩은 네트워크 간 비교 가능하며, 명시적인 노드 대응이 없어도 효과적인 크로스넷워크 매칭을 가능하게 한다.
• 다양한 실세계 네트워크에서의 광범위한 실험을 통해 xNetMF와 REGAL이 다양한 네트워크 유형과 속성 가용성에 걸쳐 강건성과 일반화 능력을 보여준다.