[논문 리뷰] Benchmarks for Graph Embedding Evaluation

Palash Goyal, Di Huang외 4명|arXiv (Cornell University)|2019. 08. 19.

Advanced Graph Neural Networks참고 문헌 44인용 수 11

한 줄 요약

이 논문은 실생활 네트워크 100개와 합성 그래프를 대상으로, MAP 및 Precision@100와 같은 메트릭을 사용하는 통일된 평가 프로토콜을 적용하여 그래프 임bedding 방법을 평가하기 위한 종합적인 벤치마크 프레임워크를 소개한다. 다양한 구조적 특성에 따라 메서드 성능를 분석하고, 순위 매기기 위한 GFS-score를 수립하며, 특정 데이터 유형에 적합한 메서드 선택을 안내하기 위해 오픈소스 파이썬 라이브러리(GEM-Benchmark)를 제공한다.

ABSTRACT

Graph embedding is the task of representing nodes of a graph in a low-dimensional space and its applications for graph tasks have gained significant traction in academia and industry. The primary difference among the many recently proposed graph embedding methods is the way they preserve the inherent properties of the graphs. However, in practice, comparing these methods is very challenging. The majority of methods report performance boosts on few selected real graphs. Therefore, it is difficult to generalize these performance improvements to other types of graphs. Given a graph, it is currently impossible to quantify the advantages of one approach over another. In this work, we introduce a principled framework to compare graph embedding methods. Our goal is threefold: (i) provide a unifying framework for comparing the performance of various graph embedding methods, (ii) establish a benchmark with real-world graphs that exhibit different structural properties, and (iii) provide users with a tool to identify the best graph embedding method for their data. This paper evaluates 4 of the most influential graph embedding methods and 4 traditional link prediction methods against a corpus of 100 real-world networks with varying properties. We organize the 100 networks in terms of their properties to get a better understanding of the embedding performance of these popular methods. We use the comparisons on our 100 benchmark graphs to define GFS-score, that can be applied to any embedding method to quantify its performance. We rank the state-of-the-art embedding approaches using the GFS-score and show that it can be used to understand and evaluate novel embedding approaches. We envision that the proposed framework (https://www.github.com/palash1992/GEM-Benchmark) will serve the community as a benchmarking platform to test and compare the performance of future graph embedding techniques.

연구 동기 및 목표

• 다양한 그래프 유형에 걸쳐 표준화되고 재현 가능한 그래프 임베딩 방법 평가의 부족을 해결하기 위해.
• 사회, 생물, 기술, 경제 분야에 걸쳐 다양한 구조적 특성을 지닌 100개의 실생활 및 합성 그래프를 포함한 벤치마크를 수립하기 위해.
• MAP, Precision@100와 같은 일관된 메트릭을 사용하는 통합 평가 프레임워크를 개발하여 최신 임베딩 방법과 히ュ리스틱 방법을 공정하게 비교하기 위해.
• 입력 그래프 특성에 기반해 최적의 임베딩 방법을 자동으로 추천하는 오픈소스 파이썬 라이브러리(GEM-Benchmark)를 제공하기 위해.
• 크기, 평균 차수, 임베딩 차원 등 다양한 그래프 특성에 따라 어떤 임베딩 방법이 가장 잘 성능을 내는지 규명하기 위해.

제안 방법

• 벤치마크는 ICON 분류 체계에 따라 네 가지 도메인으로 분류된 CommunityFitNet 코퍼스와 SNAP에서 확보한 100개의 실생활 네트워크를 사용한다.
• 합성 그래프는 스토하스틱 블록 모델, 바라바시-알버트 모델, R-mat 등 다양한 모델을 사용하여 커뮤니티 구조 및 힘의 법칙에 따르는 차수 분포와 같은 구조적 특성을 제어한다.
• 표준 링크 예측 메트릭인 평균 평균 정확도(MAP)와 누락 링크 예측 작업에서의 Precision@100을 사용하여 성능을 평가한다.
• 모든 그래프에 걸쳐 임베딩 방법을 정량적으로 순위 매기기 위해 새로운 GFS-score를 도입한다. 이는 다양한 도메인과 그래프 유형에서의 성능을 통합한다.
• 그래프 크기(1024–8192개 노드), 평균 노드 차수, 임베딩 차원을 변화시켜 민감도를 평가한다.
• 입력 그래프 특성에 기반해 메서드 선택을 자동화하는 오픈소스 파이썬 라이브러리(GEM-Benchmark)를 공개한다.

실험 결과

연구 질문

• RQ1 다양한 구조적 특성을 지닌 실생활 및 합성 그래프 유형에서 어떤 그래프 임베딩 방법이 가장 우수한 성능을 보이는가?
• RQ2 다양한 도메인에서 링크 예측 작업에서 전통적인 히ュ리스틱 방법(예: 공통 이웃, 아다믹-아다르)과 그래프 임베딩 방법은 어떻게 비교되는가?
• RQ3 임베딩 방법은 그래프 크기, 평균 노드 차수, 임베딩 차원에 대해 얼마나 민감한가?
• RQ4 어떤 그래프의 구조적 특성이 특정 임베딩 기법의 성능을 향상 또는 저하시키는가?
• RQ5 통합 벤치마크와 점수 체계(GFS-score)는 주어진 그래프에 대해 최적의 임베딩 방법을 신뢰성 있게 순위 매기고 추천할 수 있는가?

주요 결과

• 인터넷 및 합성 그래프에서 히ュ리스틱 방법인 아다믹-아다르와 재커드 계수는 힘의 법칙과 소월드 성질과의 일치로 인해 특히 Precision@100에서 최고 성능을 기록한다.
• HOPE와 라플라시안 고유벡터 방법은 일관되게 상위에 속하며, 특히 크고 조밀한 그래프에서 Precision@100에서 뛰어난 성능을 보인다.
• 그래프 팩터라이제이션은 합성 인터넷 그래프에서 양호한 성능을 내지만, SDNE는 단순하고 구조화된 합성 그래프에서 과적합으로 인해 성능이 열 劣한다.
• MAP 성능는 일반적으로 그래프 크기가 증가함에 따라 감소하지만, 높은 노드 밀도로 인해 더 많은 국소 정보가 제공되어 Precision@100 성능는 향상된다.
• 높은 임베딩 차원은 항상 MAP 및 Precision@100 점수를 향상시키며, 이 효과는 더 작고 노이즈가 적은 그래프에서 가장 두드러진다.
• GFS-score는 최신 기술의 메서드를 효과적으로 순위 매기며, HOPE와 node2vec가 다양한 그래프 유형에서 상위 성능를 보였다.