[논문 리뷰] Graph Embedding with Rich Information through Bipartite Heterogeneous Network.

Guolei Sun, Xiangliang Zhang|arXiv (Cornell University)|2017. 10. 18.

Advanced Graph Neural Networks참고 문헌 21인용 수 2

한 줄 요약

이 논문은 노드와 에지의 풍부한 텍스트 정보를 활용하기 위해 이분 이질적 네트워크를 구성하고, 민감도 조절 가능한 랜덤 워크를 통해 개선된 표현을 학습하는 새로운 그래프 임베딩 프레임워크를 제안한다. 기존의 기준 대비 Cora 데이터셋에서 Micro-F1과 Macro-F1이 각각 10%와 7% 향상된다.

ABSTRACT

Graph embedding has attracted increasing attention due to its critical application in social network analysis. Most existing algorithms for graph embedding only rely on the typology information and fail to use the copious information in nodes as well as edges. As a result, their performance for many tasks may not be satisfactory. In this paper, we proposed a novel and general framework of representation learning for graph with rich text information through constructing a bipartite heterogeneous network. Specially, we designed a biased random walk to explore the constructed heterogeneous network with the notion of flexible neighborhood. The efficacy of our method is demonstrated by extensive comparison experiments with several baselines on various datasets. It improves the Micro-F1 and Macro-F1 of node classification by 10% and 7% on Cora dataset.

연구 동기 및 목표

• 기존 그래프 임베딩 방법들이 노드와 에지의 풍부한 텍스트 정보를 忽시하는 한계를 해결하기 위해.
• 노드 및 에지 속성을 그래프 임베딩에 통합하는 일반적인 표현 학습 프레임워크를 개발하기 위해.
• 이질적 네트워크 구조를 활용하여 노드 분류와 같은 후속 작업의 성능을 향상시키기 위해.
• 구축된 이분 이질적 네트워크에서 편향된 랜덤 워크를 통해 영향력 있는 이웃 탐색 전략을 설계하기 위해.

제안 방법

• 노드와 에지를 각기 다른 유형으로 모델링하고 풍부한 텍스트 속성을 부여함으로써 이분 이질적 네트워크를 구성한다.
• 노드 및 에지의 텍스트 정보를 기반으로 경로 우선순위를 정하는 편향된 랜덤 워크 메커니즘을 도입한다.
• 랜덤 워크 과정에서 국소적 및 전역적 구조적 정보의 균형을 이루기 위해 영향력 있는 이웃 탐색을 정의한다.
• 편향된 랜덤 워크에 의해 생성된 시퀀스를 사용하여 노드의 저차원 벡터 표현을 학습한다.
• 구조적 및 텍스트적 관계를 유지하기 위해 음성 샘플링을 사용한 skip-gram을 통해 모델을 종단 간(end-to-end)으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 노드와 에지의 풍부한 텍스트 정보를 통합하면 그래프 표현 학습 성능이 향상되는가?
• RQ2 제안된 유연한 이웃 탐색 전략을 갖춘 편향된 랜덤 워크는 표준 랜덤 워크에 비해 이질적 네트워크의 구조를 얼마나 잘 포착하는가?
• RQ3 이 프레임워크는 노드 분류 작업에서 얼마나 높은 성능 향상을 이끌어내는가?
• RQ4 다양한 텍스트 빈도를 가진 다양한 데이터셋에 대해 이 방법은 일반화 가능한가?

주요 결과

• 제안된 방법은 기준 대비 Cora 데이터셋에서 노드 분류 작업에서 Micro-F1을 10% 향상시켰다.
• Cora 데이터셋에서 Macro-F1이 7% 향상되어 드문 또는 빈도가 낮은 클래스에서의 성능 향상이 확인되었다.
• 다양한 데이터셋과 작업에서 프레임워크의 유효성을 실험적으로 확인하였다.
• 이분 이질적 네트워크 구축을 통한 풍부한 텍스트 정보 통합은 더 정보가 풍부한 노드 표현을 이끌어낸다.