[논문 리뷰] Multi-Level Network Embedding with Boosted Low-Rank Matrix Approximation

Jundong Li, Liang Wu외 1명|arXiv (Cornell University)|2018. 08. 26.

Advanced Graph Neural Networks참고 문헌 35인용 수 3

한 줄 요약

이 논문은 전통적인 네트워크 임bedding에서의 전역적 저질러프 행렬 근사의 한계를 극복하기 위해 단계적이고 부스팅 유사 방식으로 노드 표현을 학습하는 다수준 네트워크 임베딩 프레임워크인 BoostNE를 제안한다. 저질러프 근사 기반의 잔차 연결 행렬을 반복적으로 개선함으로써 BoostNE는 다양한 해상도에서 계층적인 연결 패턴을 포착하여 노드 분류 및 링크 예측 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

As opposed to manual feature engineering which is tedious and difficult to scale, network representation learning has attracted a surge of research interests as it automates the process of feature learning on graphs. The learned low-dimensional node vector representation is generalizable and eases the knowledge discovery process on graphs by enabling various off-the-shelf machine learning tools to be directly applied. Recent research has shown that the past decade of network embedding approaches either explicitly factorize a carefully designed matrix to obtain the low-dimensional node vector representation or are closely related to implicit matrix factorization, with the fundamental assumption that the factorized node connectivity matrix is low-rank. Nonetheless, the global low-rank assumption does not necessarily hold especially when the factorized matrix encodes complex node interactions, and the resultant single low-rank embedding matrix is insufficient to capture all the observed connectivity patterns. In this regard, we propose a novel multi-level network embedding framework BoostNE, which can learn multiple network embedding representations of different granularity from coarse to fine without imposing the prevalent global low-rank assumption. The proposed BoostNE method is also in line with the successful gradient boosting method in ensemble learning as multiple weak embeddings lead to a stronger and more effective one. We assess the effectiveness of the proposed BoostNE framework by comparing it with existing state-of-the-art network embedding methods on various datasets, and the experimental results corroborate the superiority of the proposed BoostNE network embedding framework.

연구 동기 및 목표

• 실제 네트워크에서 복잡한 비저질러프 연결 패턴을 포착하지 못하는 전역적 저질러프 행렬 근사의 근본적 한계를 해결한다.
• 다양한 해상도에서의 노드 상호작용 패턴을 모델링하지 못하는 단일 인수분해 접근법의 부족함을 보완한다.
• 기존 앙상블 학습에서의 기울기 부스팅 성공을 모방하여, 거친 해상도에서부터 세밀한 해상도로 노드 표현을 학습하는 다수준 프레임워크를 개발한다.
• 각 단계에서 잔차 행렬을 분해함으로써 전역적 저질러프 가정을 완화하여 임베딩 표현의 점진적 개선을 가능하게 한다.
• 행렬 인수분해 기반 네트워크 임베딩과 호환되면서도 표현력과 일반화 능력을 향상시키는 통합적이고 확장 가능한 프레임워크를 제공한다.

제안 방법

• 노드 간의 근접성 또는 구조적 패턴에서 유도된 닫힌 형태의 연결 행렬을 사용하여 행렬 인수분해 프레임워크 내에서 네트워크 임베딩 문제를 수립한다.
• 연결 행렬에 저질러프 행렬 근사(예: SVD, NMF)를 적용하여 初기 임베딩 표현을 생성한다.
• 원본 연결 행렬과 그 저질러프 근사 간의 차이로 잔차 행렬을 계산하여 설명되지 않은 연결 패턴을 포착한다.
• 단계별로 잔차 행렬에 저질러프 근사를 반복적으로 적용하여 점차로 정교해지는 임베딩 표현의 시퀀스를 생성한다.
• 각 단계에서 생성된 다수의 약한 임베딩 표현을 부스팅 유사 집계 방식으로 조합하여 최종적으로 더 강력하고 더 구분력 있는 임베딩을 구성한다.
• 각 단계에서 전체 행렬 재구성을 피함으로써 계산적 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 반복적으로 잔차 연결 행렬을 정교화하는 다수준 임베딩 프레임워크가 단일 수준의 저질러프 행렬 근사보다 더 복잡한 네트워크 구조를 포착하는 데서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 다수의 저질러프 근사를 부스팅 유사 방식으로 단계별로 학습하는 것이 최신 기술 수준(SOTA) 네트워크 임베딩 방법보다 노드 표현 품질을 향상시키는가?
• RQ3 전역적 저질러프 가정을 완화함으로써 다양한 네트워크 유형에서 학습된 노드 임베딩의 표현력은 어느 정도 향상되는가?
• RQ4 임베딩 계층의 다양한 해상도 수준이 노드 분류 및 링크 예측과 같은 후행 작업에 어떻게 기여하는가?
• RQ5 대규모 네트워크에서 표현 품질 향상과 함께 계산 효율성도 유지할 수 있는가?

주요 결과

• BoostNE는 다양한 실세계 데이터셋에서 노드 분류 및 링크 예측 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 SOTA 방법을 능가한다.
• 다수준 프레임워크는 단일 인수분해 방법이 간과하는 계층적이고 비전역적 저질러프 패턴까지 포착함으로써 임베딩 품질을 크게 향상시킨다.
• 제거 분석 결과 각 부스팅 단계가 최종 표현에 의미 있는 기여를 하며, 수준 간 성능 향상이 단조롭게 증가하는 경향을 확인하였다.
• 사회적, 인용, 협업 네트워크를 포함한 다양한 네트워크 유형에서 뛰어난 강건성을 보이며 광범위한 적용 가능성을 입증하였다.
• 잔차 행렬 분해 전략은 초기 저질러프 근사에서 포착하지 못한 복잡한 연결 패턴을 효과적으로 분리하고 모델링한다.
• 효율적인 저질러프 인수분해 및 점진적 업데이트 기반으로 대규모 네트워크에서도 계산 가능성을 유지한다.