[논문 리뷰] Unsupervised Inductive Graph-Level Representation Learning via Graph-Graph Proximity

Yunsheng Bai, Hao Ding외 6명|arXiv (Cornell University)|2019. 04. 01.

Advanced Graph Neural Networks참고 문헌 71인용 수 19

한 줄 요약

UGraphEmb는 다중 척도 노드 어텐션과 그래프 편집 거리(GED), 최대 공통 부분그래프(MCS)와 같은 근접도 측정법을 사용하여 그래프-그래프 근접도를 유지하는 비지도, 유도적 프레임워크를 제안한다. 이는 레이블 없이도 다섯 개인 실세계 데이터셋에서 그래프 분류, 유사도 순서 매기기, 시각화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a novel approach to graph-level representation learning, which is to embed an entire graph into a vector space where the embeddings of two graphs preserve their graph-graph proximity. Our approach, UGRAPHEMB, is a general framework that provides a novel means to performing graph-level embedding in a completely unsupervised and inductive manner. The learned neural network can be considered as a function that receives any graph as input, either seen or unseen in the training set, and transforms it into an embedding. A novel graph-level embedding generation mechanism called Multi-Scale Node Attention (MSNA), is proposed. Experiments on five real graph datasets show that UGRAPHEMB achieves competitive accuracy in the tasks of graph classification, similarity ranking, and graph visualization.

연구 동기 및 목표

• 새로운 그래프에 일반화 가능한 비지도, 유도적 그래프 수준 표현 학습 방법의 부족을 해결하기 위해.
• 그래프 수준의 레이블에 의존하지 않고 그래프 간 근접도를 유지함으로써 그래프 임베딩을 학습하는 프레임워크를 개발하기 위해.
• 다양한 그래프 구조적 척도에서의 노드 임베딩을 통합하는 새로운 다중 척도 어텐션 메커니즘을 도입하기 위해.
• NLP의 사전학습(예: BERT)과 유사하게 그래프 데이터에서 사전학습을 수행하고, 최종 작업에 대해 미세조정할 수 있도록 하기 위해.
• 레이블이 없는 환경에서 도메인에 관계없이 적용 가능한 근접도 측정법(GED, MCS)을 감독 신호로 사용하는 것이 효과적인지 입증하기 위해.

제안 방법

• UGraphEmb는 그래프 간 근접도 점수(예: GED, MCS)로부터 구성된 하이퍼 수준 그래프를 사용하여 그래프 수준 임베딩 학습을 위한 감독 신호를 정의한다.
• 다양한 그래프 이sovomorphism 네트워크(GIN) 레이어의 노드 임베딩을 통합하여 다양한 척도의 구조적 정보를 캡처하는 다중 척도 노드 어텐션(MSNA) 메커니즘을 적용한다.
• 모델은 입력 그래프(학습 중에 본 적이 있든 없든)를 고정된 차원의 임베딩 공간으로 매핑하여 원래의 그래프-그래프 근접도를 유지하도록 훈련한다.
• 이 프레임워크는 근접도 측정법을 사용하여 비지도 방식으로 사전학습된 후, 분류와 같은 최종 작업을 위해 감독 손실을 사용하여 미세조정된다.
• 근접도 측정법으로 GED, MCS, 그래프릿 커널(GK)을 사용하여 감독 신호를 정의하며, GED와 MCS가 더 뛰어난 성능을 보였다.
• 다양한 GIN 레이어의 노드 임베딩에 대해 학습 가능한 어텐션 메커니즘을 사용하여 단순 평균화나 단일 레이어 통합보다 뛰어난 성능을 달성한다.

실험 결과

연구 질문

• RQ1 그래프-그래프 근접도를 유지함으로써 완전히 비지도이고 유도적인 방식으로 그래프 수준 표현을 학습할 수 있는가?
• RQ2 노드 임베딩의 다중 척도 통합이 단일 척도 또는 평균 풀링 대비 그래프 수준 표현 품질을 어떻게 향상시키는가?
• RQ3 다양한 그래프 근접도 측정법(GED, MCS, GK)이 학습된 임베딩의 성능에 어떤 영향을 미치는가?
• RQ4 근접도 신호를 사용한 사전학습이 그래프 분류 및 유사도 순서 매기기와 같은 최종 작업에 얼마나 기여하는가?
• RQ5 학습 중에 존재하지 않은 그래프에 대해서도 프레임워크가 일반화 가능한가, 그리고 구조적 유사도를 얼마나 잘 유지하는가?

주요 결과

• UGraphEmb는 GED를 근접도 측정법으로 사용하여 ImdbM 데이터셋에서 그래프 분류 작업에서 50.06%의 정확도를 달성하며, 기준 방법들을 능가한다.
• 다중 척도 노드 어텐션(MSNA) 메커니즘이 가장 높은 성능(50.06% 정확도)을 보였으며, 단순 평균화(34.73%)와 단일 레이어 통합(49.51%)보다 뚜렷이 뛰어나다.
• GED나 MCS를 근접도 측정법으로 사용할 경우 히우리스틱인 그래프릿 커널(GK)보다 유사하고 뛰어난 성능을 보이며, GK는 뿐만 아니라 43.17%의 정확도에 그친다.
• MSNA 메커니즘에 더 많은 GIN 레이어를 포함할수록 성능이 향상되며, ImdbM에서 다섯 레이어를 사용할 경우 정점 정확도가 최고로 50.67%에 도달한다.
• 모델은 효과적인 유사도 순서 매기기와 시각화를 가능하게 하며, 임베딩이 그래프 간 근접도를 유지하고 의미 있는 2차원 투영을 가능하게 한다.
• 근접도를 유지하는 임베딩을 미세조정하면 최종 분류 작업에서 성능이 향상되어 사전학습 파라다임의 유용성을 입증한다.