[논문 리뷰] Relation Structure-Aware Heterogeneous Information Network Embedding

Yuanfu Lu, Chuan Shi외 2명|arXiv (Cornell University)|2019. 05. 15.

Advanced Graph Neural Networks참고 문헌 31인용 수 5

한 줄 요약

이 논문은 구조 인식 측도를 사용하여 소속 관계(한 명의 중심을 공유하는 관계)와 상호작용 관계(피어 투 피어 관계)를 구분하는 새로운 이질적 정보망 임bedding 모델인 RHINE을 제안한다. 소속 관계에는 유클리드 거리 모델을, 상호작용 관계에는 번역 기반 모델을 적용하며, 통합된 프레임워크에서 최적화하여 세 가지 실세계 데이터셋에서 노드 클러스터링, 링크 예측, 노드 분류 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Heterogeneous information network (HIN) embedding aims to embed multiple types of nodes into a low-dimensional space. Although most existing HIN embedding methods consider heterogeneous relations in HINs, they usually employ one single model for all relations without distinction, which inevitably restricts the capability of network embedding. In this paper, we take the structural characteristics of heterogeneous relations into consideration and propose a novel Relation structure-aware Heterogeneous Information Network Embedding model (RHINE). By exploring the real-world networks with thorough mathematical analysis, we present two structure-related measures which can consistently distinguish heterogeneous relations into two categories: Affiliation Relations (ARs) and Interaction Relations (IRs). To respect the distinctive characteristics of relations, in our RHINE, we propose different models specifically tailored to handle ARs and IRs, which can better capture the structures and semantics of the networks. At last, we combine and optimize these models in a unified and elegant manner. Extensive experiments on three real-world datasets demonstrate that our model significantly outperforms the state-of-the-art methods in various tasks, including node clustering, link prediction, and node classification.

연구 동기 및 목표

• 기존의 HIN 임베딩 방법이 관계의 구조적 차이를 고려하지 않고 모든 관계를 동일하게 취급하는 한계를 해결하기 위해.
• 수학적으로 기반을 둔 기준을 사용하여 HIN 내 이질적 관계의 구조적 특성을 식별하고 정식화하기 위해.
• 소속 관계와 상호작용 관계의 구조적 패턴을 각각 다르게 반영하면서도 통합된 프레임워크를 유지하는 임베딩 프레임워크를 설계하기 위해.
• 관계별 모델링을 활용하여 노드 클러스터링, 링크 예측, 노드 분류와 같은 후행 과제의 성능을 향상시키기 위해.

제안 방법

• 논문은 관계를 두 가지 유형으로 분류하기 위해 두 가지 구조 관련 측도를 도입한다: 한 명의 중심을 공유하는 일련의 관계인 소속 관계(ARs)와 피어 투 피어 관계인 상호작용 관계(IRs).
• ARs의 경우, 공통된 중심을 공유하는 노드들 간의 밀집도를 유지하기 위해 유클리드 거리를 사용한다. 이는 '컨fer런스에 발표됨'과 같은 관계의 '중심화된' 성격을 반영한다.
• IRs의 경우, 번역 기반 메커니즘을 적용하여 관계를 노드 간의 벡터 오프셋으로 모델링한다. 이는 '공저자' 또는 '작성함'과 같은 피어 투 피어 연결에 적합하다.
• 두 모델은 통합 최적화 프레임워크에 통합되어 공유된 초모수를 사용하는 엔드 투 엔드 학습이 가능하도록 한다.
• 모델은 음성 샘플링과 확률적 최적화를 사용하여 학습되며, 노드 표현은 구조적 및 의미적 관계를 유지하도록 학습된다.

실험 결과

연구 질문

• RQ1 HIN 내 이질적 관계의 구조적 특성을 정량적이고 설명 가능한 기준을 사용해 일관되게 측정하고 구분할 수 있는가?
• RQ2 특히 한 중심에 기반한 관계와 피어 투 피어 관계의 서로 다른 구조적 패턴을 HIN 임베딩에서 효과적으로 모델링할 수 있는가?
• RQ3 관계 유형을 구분하여 맞춤형 모델을 적용하는 것이 단일 통합 모델을 사용하는 것보다 표현 학습 성능을 향상시키는가?
• RQ4 관계별 모델을 통합하는 데 있어 통합 최적화 프레임워크가 학습 효율성이나 성능을 저하시키지 않고 효과적으로 작동하는가?

주요 결과

• RHINE는 세 가지 실세계 데이터셋에서 노드 클러스터링, 링크 예측, 노드 분류 과제에서 최신 기술 수준의 방법들을 뛰어넘는 성능을 보였다.
• DBLP와 Yelp에서 평균적으로 RHINE는 베이스라인 대비 노드 분류 성능을 약 4% 향상시켰으며, 클러스터링과 링크 예측 과제도 일관된 개선을 보였다.
• 제거 실험 결과, 관계를 구분하지 않는 변형(RHINE_Eu)이나 모든 관계에 동일한 모델을 적용하는 변형(RHINE_Tr)보다 RHINE가 뛰어난 성능을 보여, 구조적 차별화의 유용성을 확인했다.
• 관계 유형에 모델 할당을 뒤바꿔 적용한 변형(RHINE_Re, IRs에 유클리드 거리, ARs에 번역 기반 모델)은 RHINE보다 성능이 열 劣하므로, 관계 유형에 적합한 모델 할당이 올바른 것으로 입증되었다.
• 시각화 결과, RHINE는 DeepWalk과 metapath2vec와 달리 더 일관되고 명확한 노드 클러스터(예: 컨퍼런스나 주제별로 묶인 논문)를 학습하는 것으로 나타났다.
• 하이퍼파라미터 분석 결과, 모델 성능은 약 100차원의 임베딩 차원과 3개의 음성 샘플에서 안정화됨을 보여, 설정에 대해 뛰어난 내구성을 지닌다.