[논문 리뷰] Heterogeneous Deep Graph Infomax

Yuxiang Ren, Бо Лю외 4명|arXiv (Cornell University)|2019. 11. 19.

Advanced Graph Neural Networks참고 문헌 44인용 수 66

한 줄 요약

HDGI는 히테로지니어스 그래프를 위한 비지도 그래프 신경망으로, 메타-경로 유도 시맨틱 간의 지역-전역 상호정보를 극대화하고, 시맨틱 수준의 주의를 통해 여러 메타-경로를 융합합니다. 이는 감독 없이 노드 분류와 클러스터링에서 최첨단 성능을 달성합니다.

ABSTRACT

Graph representation learning is to learn universal node representations that preserve both node attributes and structural information. The derived node representations can be used to serve various downstream tasks, such as node classification and node clustering. When a graph is heterogeneous, the problem becomes more challenging than the homogeneous graph node learning problem. Inspired by the emerging information theoretic-based learning algorithm, in this paper we propose an unsupervised graph neural network Heterogeneous Deep Graph Infomax (HDGI) for heterogeneous graph representation learning. We use the meta-path structure to analyze the connections involving semantics in heterogeneous graphs and utilize graph convolution module and semantic-level attention mechanism to capture local representations. By maximizing local-global mutual information, HDGI effectively learns high-level node representations that can be utilized in downstream graph-related tasks. Experiment results show that HDGI remarkably outperforms state-of-the-art unsupervised graph representation learning methods on both classification and clustering tasks. By feeding the learned representations into a parametric model, such as logistic regression, we even achieve comparable performance in node classification tasks when comparing with state-of-the-art supervised end-to-end GNN models.

연구 동기 및 목표

• 이질 그래프에서의 비지도 표현 학습을 동기 부여하고 해결합니다.
• 다중 형 타입의 노드/엣지가 메타-경로를 통해 풍부한 시맨틱을 전달하는 방식 모델링.
• 레이블 없이 루트 표현을 학습하기 위한 MI 기반 목표를 제안합니다.
• 시맨틱-레벨 어텐션을 이용해 메타-경로 특화 인코더를 융합하고 시맨틱을 결합합니다.
• 베이스라인과 비교하여 노드 분류 및 클러스터링 작업에서 효과를 입증합니다.

제안 방법

• 이질 그래프와 여러 시맨틱에 대한 메타-경로 기반 인접 행렬을 정의합니다.
• 각 동질 부분 그래프에서 GCN 또는 GAT를 사용해 메타-경로 특정 노드 표현을 계산합니다.
• 시맨틱-레벨 어텐션으로 시맨틱을 집계해 결합 가능한 노드 표현 H를 얻습니다.
• 글로벌 인코더(평균화, 풀링, 또는 Set2vec)를 사용해 그래프 수준 요약 벡터 s를 도출합니다.
• 음수 샘플링을 포함한 구분자 D를 사용해 로컬 노드 표현 H와 글로벌 요약 s 사이의 상호정보를 최대화합니다.
• 메타-패스 인접성을 고정하고 노드 특성을 셔플하여 Neg 쌍을 생성합니다; MI를 하한하는 이진 크로스 엔트로피 손실로 학습합니다.
• 레이블 없이 표현을 학습하기 위해 역전파를 통한 엔드-투-엔드 학습을 제공합니다.

실험 결과

연구 질문

• RQ1 MI 기반 목표가 동질 그래프에서 이질 그래프로 효과적으로 확장될 수 있는가?
• RQ2 메타-패스와 시맨틱-레벨 어텐션이 HG에서 다양한 시맨틱을 포착해 강건한 표현을 형성하는가?
• RQ3 HDGI가 감독된 GNN 및 다른 비지도 방법과 비교해 비지도 노드 분류 및 클러스터링에서 어떤 성능을 보이는가?
• RQ4 다른 글로벌 인코더(평균화, 풀링, Set2vec)가 학습된 표현에 미치는 영향은 무엇인가?
• RQ5 이질 설정에서 음수 샘플링 품질이 상호정보 극대화에 영향을 미치는가?

주요 결과

데이터세트	학습	지표	원시	M2V	DW	GCN	RGCN	GAT	HAN	DW+F	DGI	HDGI-A	HDGI-C
ACM	20%	Micro-F1	0.8590	0.6125	0.5503	0.9250	0.5766	0.9178	0.9267	0.8785	0.9104	0.9178	0.9227
ACM	20%	Macro-F1	0.8585	0.6158	0.5582	0.9248	0.5801	0.9172	0.9268	0.8789	0.9104	0.9170	0.9232
DBLP	20%	Micro-F1	0.7552	0.6985	0.2805	0.8192	0.1932	0.8244	0.8992	0.7163	0.8975	0.9062	0.9175

• HDGI는 다양한 이질 데이터셋에서 노드 분류 및 클러스터링에서 최첨단 비지도 방법을 능가합니다.
• HDGI-C와 HDGI-A는 노드 분류에서 종종 감독 및 HAN 베이스라인을 능가하는 강력한 성능을 보입니다.
• 메타-패스 기반 어텐션은 PAP, PSP, MAM, MDM, MKM 등에서 시맨틱을 효과적으로 통합하여 표현 품질을 향상시킵니다.
• 학습된 구분기를 가지는 MI 기반 목표는 글로벌 그래프 정보를 보존하면서 로컬 속성을 도입하는 표현을 촉진합니다.
• HDGI의 비지도 표현은 단순한 다운스트림 분류기와 함께 사용할 때 엔드-투-엔드 감독 GNN 모델과 대등하거나 우수합니다.
• ACM, DBLP, IMDB 데이터셋에 대한 실험은 서로 다른 HG 구조와 메타데이터에서 HDGI의 견고성을 보여줍니다.