[논문 리뷰] HARP: Hierarchical Representation Learning for Networks

Haochen Chen, Bryan Perozzi외 2명|arXiv (Cornell University)|2017. 06. 23.

Advanced Graph Neural Networks인용 수 127

한 줄 요약

HARP는 다층 그래프 코어싱 패러다임으로 임베딩 초기화를 통해 DeepWalk, LINE, Node2vec 임베딩을 개선하고 실제 네트워크에서 매크로 F1 점수를 최대 14%포인트 향상시킨다.

ABSTRACT

We present HARP, a novel method for learning low dimensional embeddings of a graph's nodes which preserves higher-order structural features. Our proposed method achieves this by compressing the input graph prior to embedding it, effectively avoiding troublesome embedding configurations (i.e. local minima) which can pose problems to non-convex optimization. HARP works by finding a smaller graph which approximates the global structure of its input. This simplified graph is used to learn a set of initial representations, which serve as good initializations for learning representations in the original, detailed graph. We inductively extend this idea, by decomposing a graph in a series of levels, and then embed the hierarchy of graphs from the coarsest one to the original graph. HARP is a general meta-strategy to improve all of the state-of-the-art neural algorithms for embedding graphs, including DeepWalk, LINE, and Node2vec. Indeed, we demonstrate that applying HARP's hierarchical paradigm yields improved implementations for all three of these methods, as evaluated on both classification tasks on real-world graphs such as DBLP, BlogCatalog, CiteSeer, and Arxiv, where we achieve a performance gain over the original implementations by up to 14% Macro F1.

연구 동기 및 목표

• 대규모 네트워크를 위한 그래프 표현 학습의 필요성과 지역적 비선형 임베딩 방법의 한계에 대해 동기 부여.
• 전역 그래프 구조를 보존하고 임베딩에 좋은 초기화를 제공하는 다층 코어싱 패러다임(HARP)을 제안.
• HARP가 여러 실제 데이터셋에서 기존 임베딩 방법을 개선한다는 것을 입증.
• 코어싱의 오버헤드가 미미하고 대형 그래프에 대해 확장 가능함을 보인다.

제안 방법

• 그래프 코어싱을 통해 계층 구성을 만들고, 가장 거친 수준에서 임베딩을 수행한 뒤 세부 수준으로의 연장으로 정교화하는 3단계 HARP 프레임워크를 도입한다.
• 첫 번째 차수 근접성(1st-order proximity)을 보존하는 간선 축소(edge collapsing)와 두 번째 차수 근접성(2nd-order proximity)을 보존하는 별 축소(star collapsing)를 결합한 하이브리드 코어싱 방식으로 G0, G1, ..., GL을 형성한다.
• 가장 거친 그래프에서 임베딩 알고리즘 Embed()를 적용하고 GL에서 G0로의 연장 및 정교화를 반복적으로 수행한다.
• 가까운 그래프에서 먼 그래프로 임베딩을 재사용하고 Embed() 중 그래디언트 단계로 업데이트하며 임베딩을 연장한다.
• 알고리즘에 독립적이게 유지: HARP는 기존의 임베딩 방법(DW, LINE, Node2vec)을 감싸고 성능을 향상시킬 수 있다.
• 시간 복잡도를 분석하고 HARP의 오버헤드가 기본 임베딩 방법에 비해 무시할 만한 수준임을 보여준다.

실험 결과

연구 질문

• RQ1 다층 코어싱 접근법이 전역 그래프 구조를 포착하여 노드 임베딩을 개선할 수 있는가?
• RQ2 계층적 초기화가 임베딩 방법이 나쁜 지역 최솟값에 빠지는 것을 방지하고 하류 작업을 향상시키는가?
• RQ3 HARP가 기존 그래프 임베딩 알고리즘을 향상시키는 일반적 메타전략으로 적용될 수 있는가?
• RQ4 실제 네트워크에서 DW, LINE, Node2vec와 결합했을 때 HARP의 실증적 이득은 무엇인가?

주요 결과

• HARP는 DBLP, BlogCatalog, CiteSeer 데이터셋에서 매크로 F1 점수를 기준 임베딩 대비 향상시킨다.
• DBLP에서 DW는 57.29에서 61.76으로 증가(+7.8%), LINE은 57.76에서 59.51로 증가(+3.0%), Node2vec은 62.64에서 62.80으로 증가(+0.3%).
• BlogCatalog에서 DW는 24.88에서 25.90으로 증가(+4.0%), LINE은 22.43에서 23.47로 증가(+4.6%), Node2vec은 23.55에서 24.66로 증가(+4.7%).
• CiteSeer에서 DW는 42.72에서 44.78로 증가(+4.8%), LINE은 37.11에서 42.95로 증가(+13.6%), Node2vec은 44.84에서 46.08로 증가(+2.8%).
• 전반적으로 HARP는 작업 전반에서 매크로 F1을 최대 14% 향상시킨다.
• HARP의 런타임 오버헤드는 일반적으로 10% 미만이며 그래프 크기에 따라 선형으로 확장된다.