[논문 리뷰] Heterogeneous Network Representation Learning: Survey, Benchmark, Evaluation, and Beyond

Carl Yang, Yuxin Xiao외 3명|arXiv (Cornell University)|2020. 04. 01.

Advanced Graph Neural Networks참고 문헌 93인용 수 41

한 줄 요약

이 논문은 이질적 네트워크 표현 학습(HNE)을 위한 통합 프레임워크를 제안하며, HNE 알고리즘에 대한 체계적 분류를 도입하고, 공정한 평가를 위한 네 가지 다양한 벤치마크 데이터셋을 구축하며, 11개의 인기 있는 HNE 알고리즘의 재구성된 구현을 제공한다. 주요 기여는 표준화된 평가 프로토콜, 향상된 재현 가능성, 그리고 여러 작업과 설정 간의 종합적인 비교로, 알고리즘 설계에 기인한 성능 기여를 더 신뢰할 수 있게 한다.

ABSTRACT

Since real-world objects and their interactions are often multi-modal and multi-typed, heterogeneous networks have been widely used as a more powerful, realistic, and generic superclass of traditional homogeneous networks (graphs). Meanwhile, representation learning (a.k.a. embedding) has recently been intensively studied and shown effective for various network mining and analytical tasks. In this work, we aim to provide a unified framework to deeply summarize and evaluate existing research on heterogeneous network embedding (HNE), which includes but goes beyond a normal survey. Since there has already been a broad body of HNE algorithms, as the first contribution of this work, we provide a generic paradigm for the systematic categorization and analysis over the merits of various existing HNE algorithms. Moreover, existing HNE algorithms, though mostly claimed generic, are often evaluated on different datasets. Understandable due to the application favor of HNE, such indirect comparisons largely hinder the proper attribution of improved task performance towards effective data preprocessing and novel technical design, especially considering the various ways possible to construct a heterogeneous network from real-world application data. Therefore, as the second contribution, we create four benchmark datasets with various properties regarding scale, structure, attribute/label availability, and etc. from different sources, towards handy and fair evaluations of HNE algorithms. As the third contribution, we carefully refactor and amend the implementations and create friendly interfaces for eleven popular HNE algorithms, and provide all-around comparisons among them over multiple tasks and experimental settings.

연구 동기 및 목표

• 기존 이질적 네트워크 임bedding(HNE) 연구에서 체계적 분류와 공정한 평가의 부족을 해결하기 위해.
• HNE 알고리즘 간의 일관되지 않은 데이터셋과 평가 프로토콜로 인해 발생하는 간접적 비교의 과제를 극복하기 위해.
• 새로운 알고리즘 설계에 기인한 성능 향상과 데이터 전처리 또는 데이터셋 선택에 기인한 성능 향상 간의 차이를 명확히 하여 신뢰할 수 있는 성능 기여 분석을 가능하게 하기 위해.
• 정제된 데이터셋과 재구성된 구현을 통해 표준화되고 재현 가능한 HNE 알고리즘 벤치마킹 환경을 제공하기 위해.
• 다양한 실험 설정에서 종합적이고 다중 작업 비교를 지원하여 향후 HNE 연구를 안내하기 위해.

제안 방법

• 알고리즘의 아키텍처 및 설계 원칙에 기반한 HNE 알고리즘에 대한 체계적 분류를 위한 일반적 패러다임을 제안한다.
• 다양한 실제 소스에서 유래한 다양한 스케일, 구조적 특성, 속성/라벨 가용성 등을 갖춘 네 가지 벤치마크 이질적 네트워크 데이터셋을 구축한다.
• 일관되고 사용자 친화적인 인터페이스를 갖춘 11개의 널리 사용되는 HNE 알고리즘의 재구성 및 표준화된 구현을 제공한다.
• 노드 분류, 링크 예측, 클러스터링과 같은 다양한 작업을 통해 이질적 네트워크 표현 학습 알고리즘을 다양한 설정에서 평가한다.
• 표준화된 전처리 및 평가 프로토콜을 적용하여 성능 차이가 알고리즘 혁신에 기인한 것이며, 데이터나 구현의 변동성에 기인한 것이 아니라는 것을 보장한다.
• 다양한 데이터셋과 작업 간에 알고리즘 구성 요소의 체계적 아블레이션 및 분석을 가능하게 하는 종합적인 평가 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 작업에서 표준화되고 공정한 조건으로 평가할 때 기존 HNE 알고리즘이 어떻게 성능을 비교하는가?
• RQ2 다양한 네트워크 구조와 데이터 특성에서 일관되게 성능 향상에 기여하는 핵심 설계 요소는 무엇인가?
• RQ3 데이터 전처리 및 네트워크 구축 방식의 차이가 HNE 알고리즘의 보고된 성능에 얼마나 큰 영향을 미치는가?
• RQ4 제안된 벤치마크 데이터셋은 기존 HNE 알고리즘의 한계나 편향을 어떻게 드러내는가?
• RQ5 어떤 알고리즘 구성 요소(예: 어텐션 메커니즘, 메타패스 사용, 메시지 전파)가 다양한 네트워크 유형과 작업에서 일관되게 성능 향상에 기여하는가?

주요 결과

• 제안된 벤치마크 데이터셋은 알고리즘 간에 뚜렷한 성능 변동성을 드러내며, 일부 알고리즘이 다양한 네트워크 구조와 작업에서 일관되게 뛰어난 성능을 보임을 확인한다.
• 표준화된 평가를 통해 이전 연구에서의 성능 향상 대부분이 새로운 알고리즘 설계가 아니라 데이터셋 특화 전처리에 기인한 것으로 드러났다.
• 재구성된 구현과 일관된 평가 프로토콜을 통해 신뢰할 수 있는 아블레이션 연구가 가능해졌으며, 메타패스 기반 방법이 구조화된 이질적 네트워크에서 경로 기반 대안보다 일반적으로 뛰어난 성능을 보임을 확인했다.
• 어텐션 메커니즘 또는 적응형 집계 전략을 사용하는 알고리즘은 다양한 데이터 스케일과 속성 가용성 수준에서 더 뛰어난 강건성을 보였다.
• 벤치마크 프레임워크를 통해 과거에 일관되지 않은 평가 프로토콜에 의해 가려졌던 알고리즘의 약점, 예를 들어 작은 또는 희박한 네트워크에서의 과적합 현상 등을 식별할 수 있었다.
• 종합적인 비교 결과, 어떤 한 HNE 알고리즘도 모든 작업과 데이터셋에서 우월하지 않음을 확인하였으며, 이는 네트워크 및 작업 특성에 따라 방법 선택이 필요함을 시사한다.