[논문 리뷰] Network Representation Learning: Consolidation and Renewed Bearing

Saket Gurukar, Priyesh Vijayan외 10명|arXiv (Cornell University)|2019. 05. 02.

Complex Network Analysis Techniques참고 문헌 62인용 수 9

한 줄 요약

이 논문은 링크 예측과 노드 분류를 위한 15개 데이터셋에 걸쳐 12개의 비지도 네트워크 표현 학습 방법에 대한 대규모이고 체계적인 벤치마크를 제시한다. 분석 결과, 행렬 분해 기반 방법들인 MNMF와 NetMF가 다른 방법들보다 뛰어난 성능을 보였으며, 튜닝된 고전적 방법들인 라플라시안 고유맵핑은 현대적 접근법과 견줄 만큼의 성능을 보였으며, 특정 설정에서의 방법 우월성에 대한 기존의 가정을 도전한다.

ABSTRACT

Graphs are a natural abstraction for many problems where nodes represent entities and edges represent a relationship across entities. An important area of research that has emerged over the last decade is the use of graphs as a vehicle for non-linear dimensionality reduction in a manner akin to previous efforts based on manifold learning with uses for downstream database processing, machine learning and visualization. In this systematic yet comprehensive experimental survey, we benchmark several popular network representation learning methods operating on two key tasks: link prediction and node classification. We examine the performance of 12 unsupervised embedding methods on 15 datasets. To the best of our knowledge, the scale of our study -- both in terms of the number of methods and number of datasets -- is the largest to date. Our results reveal several key insights about work-to-date in this space. First, we find that certain baseline methods (task-specific heuristics, as well as classic manifold methods) that have often been dismissed or are not considered by previous efforts can compete on certain types of datasets if they are tuned appropriately. Second, we find that recent methods based on matrix factorization offer a small but relatively consistent advantage over alternative methods (e.g., random-walk based methods) from a qualitative standpoint. Specifically, we find that MNMF, a community preserving embedding method, is the most competitive method for the link prediction task. While NetMF is the most competitive baseline for node classification. Third, no single method completely outperforms other embedding methods on both node classification and link prediction tasks. We also present several drill-down analysis that reveals settings under which certain algorithms perform well (e.g., the role of neighborhood context on performance) -- guiding the end-user.

연구 동기 및 목표

• 다양한 데이터셋과 과제를 통해 네트워크 표현 학습 방법을 평가하기 위한 표준화되고 대규모의 벤치마크를 구축하기.
• 모든 방법들(기준선 포함)에 대해 원본 코드와 일관된 초모수 튜닝을 사용하여 이전 평가에서의 일관성 없는 점을 해결하기.
• 적절히 튜닝된 경우 고전적 또는 히우리스틱 방법들이 현대적 딥러닝 기반 접근법과 경쟁할 수 있는지 조사하기.
• 실무자들이 방법 선택을 안내하기 위해 데이터셋 및 과제별 성능 패턴을 식별하기.
• 이전 연구에서의 일관성 없는 훈련 분할 및 초모수 탐색의 부족으로 인한 편향을 줄이기 위한 재현 가능한 포괄적인 평가 프레임워크 제공하기.

제안 방법

• 본 연구는 고전적 방법(예: 라플라시안 고유맵핑, DeepWalk)과 최근 방법(예: Node2Vec, LINE, SDNE)을 포함한 12개의 비지도 네트워크 임베딩 방법을 평가한다.
• 모든 방법들은 저자들이 제공한 동일한 원본 코드베이스를 사용하여 공정성과 재현 가능성을 확보한다.
• 성능는 링크 예측과 노드 분류라는 두 가지 표준 후행 과제에서 평가되며, 그리드 서치된 초모수를 사용한 로지스틱 회귀를 활용한다.
• 모든 데이터셋에 동일한 50:50 훈련-테스트 분할을 사용하며, 데이터 편향을 줄이기 위해 다수의 무작위 섞음을 통해 평균 성능을 산출한다.
• 벤치마크는 사회 네트워크, 인용 그래프, 공동 저자 네트워크를 포함한 다양한 크기와 구조적 특성을 지닌 15개의 실세계 데이터셋을 포함한다.
• 딥다운 분석은 이웃 환경, 데이터셋의 조밀도, 커뮤니티 구조가 방법 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 과제에서 가장 뛰어난 성능을 보이는 네트워크 표현 학습 방법은 무엇인가?
• RQ2 적절히 튜닝된 경우 고전적 또는 히우리스틱 방법들(예: 라플라시안 고유맵핑, 작업별 히우리스틱)이 현대적 딥러닝 기반 방법들을 능가할 수 있는가?
• RQ3 행렬 분해 기반 방법들(예: NetMF, MNMF)은 랜덤 워크 기반 방법들(예: DeepWalk, Node2Vec)과 비교해 일관성과 성능 면에서 어떻게 다른가?
• RQ4 특정 임베딩 방법의 성능에 영향을 주는 데이터셋 특성(예: 조밀도, 커뮤니티 구조, 크기)은 무엇인가?
• RQ5 일관성 없는 평가 프로토콜(예: 초모수 튜닝 부족, 단일 분할)이 방법의 우월성에 대한 오해를 초래하는 정도는 어느 정도인가?

주요 결과

• MNMF는 링크 예측에서 가장 높은 성능을 보였으며, W-Wisconsin 데이터셋에서 마이크로-f1 점수 98.5를 기록하여 모든 데이터셋에서 다른 방법들보다 뚜렷하게 뛰어났다.
• NetMF는 노드 분류 과제에서 최상의 베이스라인으로 기능했으며, DBLP 공동 저자 네트워크에서 마이크로-f1 점수 99.2를 기록하여 대부분의 대안들보다 뚜렷하게 뛰어났다.
• 튜닝된 라플라시안 고유맵핑은 Blogcatalog에서 매크로-f1 점수 29.2를 기록하여 Node2Vec와 견줄 만하며 이전에 보고된 결과를 초월했으며, 고전적 방법이 적절한 튜닝을 통해 매우 경쟁력 있는 성능을 낼 수 있음을 보여주었다.
• NetMF, MNMF와 같은 행렬 분해 기반 방법들은 대부분의 데이터셋에서 DeepWalk, Node2Vec와 같은 랜덤 워크 기반 방법들보다 작은 성능 우위를 지속적으로 보였다.
• 단일 방법이 링크 예측과 노드 분류 과제를 모두 압도하지는 않았으며, MNMF는 링크 예측에서 뛰어난 성능을 보였고, NetMF는 노드 분류에서 선두를 달렸다.
• SDNE 및 VAG와 같은 방법들은 YouTube 및 Flickr와 같은 더 큰 데이터셋에서 확장성 문제가 발생하여 계산상 불가능로 인해 성능이 보고되지 않았다.