[논문 리뷰] Self-Supervised Learning of Contextual Embeddings for Link Prediction in Heterogeneous Networks

Ping Wang, Khushbu Agarwal외 3명|arXiv (Cornell University)|2020. 07. 22.

Advanced Graph Neural Networks참고 문헌 46인용 수 5

한 줄 요약

SLiCE는 고정되거나 전역적으로 집계된 표현에 의존하지 않고, 작업별로 특화된 부분 그래프를 모델링하여 이질적 네트워크에서 링크 예측을 위한 동적이고 맥락 인식형 노드 표현을 학습하는 자기지도 학습 프레임워크를 제안한다. 마스크된 사전 훈련과 미세조정을 통해 전역적 그래프 구조와 국소적 메타패스 유사 의미를 동시에 활용함으로써 정적 및 맥락 기반 베이스라인을 능가하며, 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Representation learning methods for heterogeneous networks produce a low-dimensional vector embedding for each node that is typically fixed for all tasks involving the node. Many of the existing methods focus on obtaining a static vector representation for a node in a way that is agnostic to the downstream application where it is being used. In practice, however, downstream tasks such as link prediction require specific contextual information that can be extracted from the subgraphs related to the nodes provided as input to the task. To tackle this challenge, we develop SLiCE, a framework bridging static representation learning methods using global information from the entire graph with localized attention driven mechanisms to learn contextual node representations. We first pre-train our model in a self-supervised manner by introducing higher-order semantic associations and masking nodes, and then fine-tune our model for a specific link prediction task. Instead of training node representations by aggregating information from all semantic neighbors connected via metapaths, we automatically learn the composition of different metapaths that characterize the context for a specific task without the need for any pre-defined metapaths. SLiCE significantly outperforms both static and contextual embedding learning methods on several publicly available benchmark network datasets. We also interpret the semantic association matrix and provide its utility and relevance in making successful link predictions between heterogeneous nodes in the network.

연구 동기 및 목표

• 이질적 네트워크에서 정적 노드 표현의 한계를 해결하기 위해 링크 예측을 위한 작업별 맥락 정보를 포착하지 못하는 문제를 해결한다.
• 기존 맥락 학습 방법에서 사전 정의된 메타패스에 의존하는 문제를 해결하기 위해 하위그래프에서 관련 의미 조합을 자동으로 학습한다.
• 전역적 그래프 구조와 국소적 주목사용 기반 표현을 통합하는 확장 가능한 자기지도 프레임워크를 개발하여 후속 작업 성능을 향상시킨다.
• 이질적 네트워크 링크 예측에서 맥락 기반 노드 표현의 해석 가능성, 효과성, 확장성을 입증한다.

제안 방법

• SLiCE는 이질적 관계를 통해 고차원 의미적 연관성을 재구성하기 위해 노드를 마스크하는 자기지도 목적함수를 사용하여 전체 그래프에서 사전 훈련한다.
• 링크 예측을 위한 입력 노드 쌍 주변에 작업별 맥락 하위그래프를 구성하여 국소적 구조적 및 의미적 정보를 포착한다.
• 고정된 표현을 사용하는 대신, 하위그래프 맥락에 따라 동적으로 노드 표현을 적응시키는 맥락 기반 번역 메커니즘을 적용한다.
• 주의 메커니즘을 통해 다중 메타패스의 조합을 암묵적으로 학습함으로써 수동적인 메타패스 사양이 필요 없어진다.
• 두 단계 훈련 프로세스를 사용한다: 마스크된 하위그래프에서의 사전 훈련 후, 후속 링크 예측 작업에서의 미세조정.
• 모델 복잡도를 분석하고, 간선 수에 비례하여 약 선형적으로 증가함을 보여, 대규모 네트워크에서도 확장 가능함을 확인한다.

실험 결과

연구 질문

• RQ1 작업별 하위그래프 수준의 맥락에 대한 자기지도 학습이 정적 또는 사전 정의된 메타패스 기반 방법에 비해 이질적 네트워크에서 링크 예측 성능을 향상시키는가?
• RQ2 SLiCE가 수동 사양 없이 관련 메타패스 조합을 얼마나 효과적으로 자동으로 학습할 수 있는가?
• RQ3 맥락 하위그래프 설계 및 수의 영향은 모델 성능과 훈련 효율성에 어떤가?
• RQ4 기존 맥락 기반 학습 프레임워크와 비교해 SLiCE의 확장성과 계산 복잡도는 어떠한가?
• RQ5 SLiCE의 표현은 실제 네트워크에서 의미 있는 의미적 맥락과 얼마나 잘 대응되고 해석 가능한가?

주요 결과

• SLiCE는 Amazon, DBLP, Freebase, Twitter, Healthcare를 포함한 여러 벤치마크 데이터셋에서 정적 및 맥락 기반 표현 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 모델은 링크 예측에서 최신 기술 수준의 성능을 달성했으며, 이는 작업별 맥락 하위그래프를 학습할 수 있는 능력 덕분으로 기인된다.
• 노드당 맥락 하위그래프 수는 데이터셋에 따라 2.71에서 26.32 사이로 변동했으며, 최적의 성능는 노드당 5~10개의 하위그래프에서 관찰되었다.
• 훈련 시간은 간선 수에 비례하여 약 선형적으로 증가함을 확인하여, 하위그래프 기반 학습의 복잡성에도 불구하고 모델의 확장성은 입증되었다.
• 주의 메커니즘이 예측 과정에서 관련 의미 경로와 하위그래프 구조를 강조함으로써 높은 해석 가능성을 보였다.
• 맥락 하위그래프 길이를 두 배로 늘려도 훈련 시간에 거의 영향을 주지 않아, 더 긴 맥락 시퀀스를 효율적으로 처리함을 시사한다.