[논문 리뷰] Graph Self-supervised Learning with Accurate Discrepancy Learning

Dongki Kim, Jinheon Baek외 1명|arXiv (Cornell University)|2022. 02. 07.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 그래프 편집 거리(geometric edit distance)를 사용하여 원본 그래프와 변형된 그래프 간의 정확한 이질성( discrepancies )을 명시적으로 모델링함으로써 표현 학습을 향상시키는 새로운 그래프 자기지도 학습 프레임워크인 불일치 기반 자기지도 학습(D-SLA)을 제안한다. 대조 학습과는 달리, 의미적으로 다를 수 있는 그래프가 편집에 의해 유사하게 간주되는 문제를 해결하기 위해, D-SLA는 원본 그래프와 변형된 그래프를 구분하는 판별자(discriminator)를 훈련하면서도 실제 구조적 차이의 크기를 유지한다. 이로 인해 분자의 성질 예측, 단백질 기능 예측, 링크 예측 등의 과제에서 최신 기준 성능을 달성한다.

ABSTRACT

Self-supervised learning of graph neural networks (GNNs) aims to learn an accurate representation of the graphs in an unsupervised manner, to obtain transferable representations of them for diverse downstream tasks. Predictive learning and contrastive learning are the two most prevalent approaches for graph self-supervised learning. However, they have their own drawbacks. While the predictive learning methods can learn the contextual relationships between neighboring nodes and edges, they cannot learn global graph-level similarities. Contrastive learning, while it can learn global graph-level similarities, its objective to maximize the similarity between two differently perturbed graphs may result in representations that cannot discriminate two similar graphs with different properties. To tackle such limitations, we propose a framework that aims to learn the exact discrepancy between the original and the perturbed graphs, coined as Discrepancy-based Self-supervised LeArning (D-SLA). Specifically, we create multiple perturbations of the given graph with varying degrees of similarity, and train the model to predict whether each graph is the original graph or the perturbed one. Moreover, we further aim to accurately capture the amount of discrepancy for each perturbed graph using the graph edit distance. We validate our D-SLA on various graph-related downstream tasks, including molecular property prediction, protein function prediction, and link prediction tasks, on which ours largely outperforms relevant baselines.

연구 동기 및 목표

• 편집에 의해 유사성이 증가하는 문제로 인해 의미적으로 다를 수 있는 그래프가 소수의 구조적 변화만으로도 유사한 표현으로 압축되는 대조 학습의 한계를 해결하기 위함.
• 예측 학습이 전반적인 그래프 수준의 유사성을 포착하지 못하는 문제를 해결하기 위해, 이질성 인식 학습 목표를 도입하기 위함.
• 로컬 및 글로벌 구조적 차이를 반영하는 정확하고 거리 유지 그래프 표현을 학습하기 위함.
• 원본 그래프와 변형된 그래프뿐만 아니라, 그래프 편집 거리를 사용하여 정확한 구조적 이질성을 정량화하는 자기지도 학습 프레임워크를 개발하기 위함.

제안 방법

• 주어진 그래프에 대해 다양한 유사도 수준의 변형을 엣지 편집을 통해 생성함으로써, 그래프 편집 거리와 직접적으로 대응하는 변형을 생성한다.
• 판별자가 원본 그래프인지 변형된 그래프인지 분류하도록 훈련시켜, 미세한 구조적 차이를 학습할 수 있도록 한다.
• 원본 그래프와 변형된 그래프 간의 임베딩 수준 거리가 그래프 편집 거리에 비례하도록 제약을 두어, 정확한 이질성 표현을 보장한다.
• 마진 기반 손실을 적용하여, 원본 그래프와 완전히 다른(음성) 그래프 간의 거리가 원본과 변형된 그래프 간의 거리보다 크게 유지되도록 한다.
• 로컬 분류(원본 대 비원본)와 글로벌 상대 거리 학습을 통합하여 의미적 구분을 유지한다.
• 이중 분류와 유사한 대비 손실을 조합하여 엔드 투 엔드로 훈련함으로써, 분류 능력과 구조적 정확성을 동시에 유지한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 방법이 단순한 유사성 최대화를 넘어서, 그래프와 그 변형 간의 정확한 구조적 이질성을 효과적으로 학습할 수 있는가?
• RQ2 임베딩 공간에서 진정한 그래프 편집 거리를 모델링하면, 하류의 그래프 수준 예측 과제에서 일반화 성능이 향상되는가?
• RQ3 제안된 방법이 대조 학습의 알려진 결함인 의미적으로 다를 수 있는 그래프가 비슷한 표현으로 압축되는 문제를 피할 수 있는가?
• RQ4 로컬 분류와 글로벌 상대 거리 학습의 통합이 학습된 그래프 표현의 품질에 어떤 영향을 미치는가?
• RQ5 정확한 이질성 학습이 분자의 및 생물학적 그래프 벤치마크에서 성능 향상에 얼마나 기여하는가?

주요 결과

• D-SLA는 12개의 벤치마크 그래프 데이터셋에서 최신 기준 성능을 달성하였으며, 분자의 성질 예측, 단백질 기능 예측, 링크 예측 과제에서 기존 자기지도 학습 기반 방법들을 능가한다.
• 학습된 임베딩 거리와 실제 그래프 편집 거리 간의 일치를 통해, 방법이 정확한 구조적 차이의 크기를 성공적으로 포착하고 있음을 입증하였다.
• 임베딩 공간의 시각화 결과, D-SLA는 대조 학습과 달리 원본, 변형, 음성 그래프를 명확히 분리하는 것으로 나타났다.
• 제거 실험 결과, 그래프 편집 거리 감시와 상대 거리 마진이 성능 향상에 핵심적임을 확인하였으며, 설계 선택의 타당성을 검증하였다.
• 분자의, 생물학적, 사회적 네트워크를 포함한 다양한 그래프 유형에 대해 잘 일반화되며, 강건성과 이식 가능성을 입증하였다.