[논문 리뷰] Representation Learning for Heterogeneous Information Networks via Embedding Events

Guoji Fu, Bo Yuan외 2명|arXiv (Cornell University)|2019. 01. 29.

Advanced Graph Neural Networks참고 문헌 30인용 수 4

한 줄 요약

이 논문은 이질적 정보 네트워크(HINs)를 위한 새로운 네트워크 표현 학습 프레임워크인 Event2vec을 제안한다. 이는 관계를 이벤트로 모델링하여 개체 간 상호작용의 수와 의미적 성질을 모두 포착한다. 이벤트 기반의 일阶 및 이阶 근접도를 정의하고, 오토에인코더 기반의 이벤트 임베딩 모듈을 사용함으로써, 최신 기술보다 더 효과적으로 구조적 및 의미적 정보를 유지하며, 네트워크 재구성, 링크 예측, 노드 분류 등 네 가지 실세계 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

Network representation learning (NRL) has been widely used to help analyze large-scale networks through mapping original networks into a low-dimensional vector space. However, existing NRL methods ignore the impact of properties of relations on the object relevance in heterogeneous information networks (HINs). To tackle this issue, this paper proposes a new NRL framework, called Event2vec, for HINs to consider both quantities and properties of relations during the representation learning process. Specifically, an event (i.e., a complete semantic unit) is used to represent the relation among multiple objects, and both event-driven first-order and second-order proximities are defined to measure the object relevance according to the quantities and properties of relations. We theoretically prove how event-driven proximities can be preserved in the embedding space by Event2vec, which utilizes event embeddings to facilitate learning the object embeddings. Experimental studies demonstrate the advantages of Event2vec over state-of-the-art algorithms on four real-world datasets and three network analysis tasks (including network reconstruction, link prediction, and node classification).

연구 동기 및 목표

• 기존의 HIN 표현 학습 방법이 다중 개체 관계의 의미적 성질을 忽시하는 한계를 해결하기 위해.
• 공통 이벤트 수(일阶 근접도) 외에도 이벤트 구조 유사도(이阶 근접도)를 기반으로 HIN 내 개체 간 관련성을 모델링하기 위해.
• 낮은 차원의 임베딩에서 이벤트 기반의 두 근접도를 모두 유지하는 확장 가능한 프레임워크를 개발하기 위해.
• 실세계 HIN에서의 경험적 평가를 통해 이벤트 기반 표현 학습의 효과성을 입증하기 위해.

제안 방법

• 이벤트는 HIN 내 다수의 개체 간 관계를 나타내는 완전한 의미 단위로 정의되며, 예를 들어 다수의 저자들이 공동으로 저술한 논문과 그가 발표된 회의를 포함한다.
• 이벤트 기반의 일阶 근접도(EFP)는 공유된 이벤트 수에 기반해 개체 간 관련성을 측정하고, 이벤트 기반의 이阶 근접도(ESP)는 이벤트 집합의 유사도에 기반해 관련성을 측정한다.
• 이벤트와 개체의 인cidient 행렬을 재구성함으로써 오토에인코더를 사용해 이벤트 임베딩을 학습하며, 비제로 요소에 대한 페널티를 적용해 정확한 링크 재구성 우선순위를 확보한다.
• 개체 임베딩은 EFP와 ESP를 임베딩 공간에서 유지함으로써 학습되며, 근접도 측정치와 벡터 유사도를 일치시키는 대비 손실 목적함수를 사용한다.
• 이론적 분석을 통해 제안된 최적화 프레임워크 하에서 임베딩 공간에서 EFP와 ESP가 유지됨을 증명한다.
• 프레임워크는 두 단계로 종합적으로 훈련된다: 먼저 이벤트 임베딩을 학습하고, 그 다음에 이벤트 임베딩을 활용해 근접도 유지 기반으로 개체 임베딩을 학습한다.

실험 결과

연구 질문

• RQ1 다중 개체 관계를 의미적 이벤트로 모델링하는 것이 이질적 정보 네트워크 내 표현 학습을 향상시키는가?
• RQ2 이벤트 수(EFP)와 이벤트 성질 유사도(ESP)가 HIN 내 개체 간 관련성에 공동으로 영향을 미치는가?
• RQ3 이벤트 임베딩을 사용하는 두 단계 학습 프레임워크가 개체 임베딩에서 EFP와 ESP를 효과적으로 유지하는가?
• RQ4 제안된 Event2vec 프레임워크는 최신 기술 대비 후행 네트워크 분석 과제에서 어떻게 성능을 발휘하는가?
• RQ5 임베딩 차원 및 오토에인코더 깊이와 같은 모델 하이퍼파라미터가 성능에 미치는 영향은 무엇인가?

주요 결과

• Event2vec는 DBLP와 IMDB를 포함한 네 개의 실세계 HIN에서 링크 예측 및 노드 분류 과제에서 최신 기술보다 뚜렷이 뛰어난 성능을 보였다.
• DBLP 데이터셋에서 Event2vec는 노드 분류 과제에서 AUC 0.921을 달성하여 이어지는 최상의 베이스라인보다 3퍼센트 이상 높았다.
• 네트워크 재구성 과제에서 Event2vec는 DeepWalk과 node2vec가 의미적 정확도에서 어려움을 겪는 것에 비해 구조적 정보를 더 효과적으로 유지했다.
• Event2vec의 성능은 하이퍼파rameter 변화에 대해 뛰어난 내성성을 보였으며, 최적의 성능은 임베딩 차원 d=32와 인cidient 행렬의 비제로 요소에 대한 페널티 비율 β=10에서 달성되었다.
• 7층 이상의 깊은 오토에인코더는 과적합을 유도하고 성능을 떨어뜨려, 이벤트 임베딩 학습에 더 단순한 모델이 충분하고 더 안정적임을 시사했다.
• 이론적 분석은 학습 과정이 임베딩 공간에서 이벤트 기반의 일阶 및 이阶 근접도를 모두 유지함을 확인하여, 프레임워크 설계의 타당성을 입증했다.