[논문 리뷰] How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision

Dongkwan Kim, Alice Oh|arXiv (Cornell University)|2022. 04. 11.

Advanced Graph Neural Networks참고 문헌 66인용 수 116

한 줄 요약

이 논문은 엣지 존재를 감독 신호로 사용하는 자기지도 그래프 어텐션 모델 SuperGAT을 소개하며, 그래프 동형성(homophily)과 평균 차수에 기반한 어텐션 설계를 선택하는 레시피를 제시하고, 17개의 실제 데이터셋에 걸쳐 일반화한다.

ABSTRACT

Attention mechanism in graph neural networks is designed to assign larger weights to important neighbor nodes for better representation. However, what graph attention learns is not understood well, particularly when graphs are noisy. In this paper, we propose a self-supervised graph attention network (SuperGAT), an improved graph attention model for noisy graphs. Specifically, we exploit two attention forms compatible with a self-supervised task to predict edges, whose presence and absence contain the inherent information about the importance of the relationships between nodes. By encoding edges, SuperGAT learns more expressive attention in distinguishing mislinked neighbors. We find two graph characteristics influence the effectiveness of attention forms and self-supervision: homophily and average degree. Thus, our recipe provides guidance on which attention design to use when those two graph characteristics are known. Our experiment on 17 real-world datasets demonstrates that our recipe generalizes across 15 datasets of them, and our models designed by recipe show improved performance over baselines.

연구 동기 및 목표

• 표준 그래프 어텐션이 감독 없이 무엇을 학습하는지 평가한다
• 어텐션을 강화하기 위한 엣지 기반 자기지도 학습을 도입한다
• GO와 DP 어텐션을 비교하고 두 가지 향상 변형(SD 및 MX)을 도출한다
• 동형성와 평균 차수가 어텐션 효과에 미치는 영향을 분석하고 설계 레시피를 제공한다
• 다수의 실제 및 합성 데이터셋에서 접근법을 검증한다

제안 방법

• GO 및 DP 어텐션을 기반으로 한 SuperGAT 변형(GO, DP 및 제안된 SD 및 MX)을 정의한다
• 어텐션을 감독하기 위해 a_phi 및 phi_ij를 갖는 자기지도 엣지 예측 작업을 도입한다
• 엣지에 대한 이진 교차 엔트로피 손실(L_E)을 사용하고 노드 라벨 손실(L_V) 및 L2 정규화를 결합하여 최종 목적함수를 형성한다
• 훈련 중 엣지-비엣지 쌍의 균형을 맞추기 위해 음수 샘플링을 적용한다
• 엣지 예측 감독을 추가하면서도 GAT와 동일한 시간/공간 복잡도를 유지한다
• 다중헤드 어텐션 구조를 공유하고 학습된 표현에 대한 시그모이드를 통해 엣지 확률을 계산한다

실험 결과

연구 질문

• RQ1 RQ1: 그래프 어텐션이 엣지 감독 없이 레이블 합의에 대해 학습하는가?
• RQ2 RQ2: 엣지 감독으로 학습했을 때 그래프 어텐션이 엣지 존재를 예측하는가?
• RQ3 RQ3: 그래프의 특성(동형성 및 평균 차수)에 따라 어떤 그래프 어텐션 설계가 가장 효과적인가?
• RQ4 RQ4: 합성 그래프에서 도출된 설계 지침이 실제 데이터셋에 일반화되는가?

주요 결과

• GO가 DP에 비해 많은 설정에서 어텐션을 레이블 합의와 더 잘 정렬하는 경향이 있다
• DP 어텐션은 데이터셋 전반에서 링크 예측을 위한 엣지 존재를 더 효과적으로 인코딩한다
• 그래프 특성에 따라 혼합 설계(MX) 또는 스케일된 닷-곱 설계(SD)가 표준 GO나 DP보다 더 나은 성능을 낼 수 있다
• 합성 실험에 기반한 설계 레시피가 대부분의 실제 데이터셋에 일반화되며(17개 중 15개), MX가 많은 제도에서 최상 성능을 제공하는 경우가 많다
• SuperGAT 변형들은 실제 데이터셋 전반에 걸쳐 기초모형(GCN, GraphSAGE, GAT, 및 여러 엣지 인식 기법)보다 일반적으로 더 나은 성능을 보인다