[논문 리뷰] Relational Graph Attention Networks

Dan Busbridge, Dane Sherburn외 2명|arXiv (Cornell University)|2019. 04. 11.

Advanced Graph Neural Networks참고 문헌 38인용 수 127

한 줄 요약

본 논문은 Relational Graph Attention Networks(RGATs)를 연구하여 관계 그래프에 그래프 어텐션을 확장하고, 트랜스덕티브(transductive) 및 인덕티브(inductive) 작업 전반에서 WIRGAT 및 ARGAT 변형을 RGCN 및 기타 베이스라인과 비교한다. RGAT는 일부 인덕티브 그래프 분류에서 미미한 이득을 보이는 등 양상을 보이지만, 작업과 설정에 따라 스펙트럴 RGCN에 비해 종종 성능이 떨어진다.

ABSTRACT

We investigate Relational Graph Attention Networks, a class of models that extends non-relational graph attention mechanisms to incorporate relational information, opening up these methods to a wider variety of problems. A thorough evaluation of these models is performed, and comparisons are made against established benchmarks. To provide a meaningful comparison, we retrain Relational Graph Convolutional Networks, the spectral counterpart of Relational Graph Attention Networks, and evaluate them under the same conditions. We find that Relational Graph Attention Networks perform worse than anticipated, although some configurations are marginally beneficial for modelling molecular properties. We provide insights as to why this may be, and suggest both modifications to evaluation strategies, as well as directions to investigate for future work.

연구 동기 및 목표

• 관계 데이터를 갖는 노드 분류 및 그래프 분류 작업에서 관계 그래프 어텐션이 성능 향상을 가져올 수 있는지 확인한다.
• 덧셈 및 곱셈 로짓 하에서 두 RGAT 변형(Within-Relation Graph Attention 및 Across-Relation Graph Attention)을 평가한다.
• 동일한 조건과 베이스라인 하에서 RGAT를 Relational Graph Convolutional Networks(RGCN)와 비교한다.
• 관계 그래프 모델의 공정한 평가 및 향후 연구를 위한 구현과 가이드를 제공한다.

제안 방법

• 중간 관계 특이 표현 g_i^(r) = H W^(r)을 갖는 RGAT 층을 정의한다.
• g_i^(r) 및 g_j^(r)을 기반으로 덧셈 또는 곱셈 주의(attention)를 사용하여 로짓 E_{i,j}^{(r)}를 계산한다.
• 두 가지 소프트맥스 스킴을 지원한다: Within-Relation(관계당) 및 Across-Relation(관계 간).
• 주변 이웃의 주의 가중 표현을 모아서 노드 특징을 업데이트하며 다중 헤드 어텐션을 지원한다.
• 관계 및 헤드 간 파라미터 수를 줄이기 위해 기저 분해를 도입한다.
• FEAT, WL, RDF2Vec, RGCN 등을 포함한 베이스라인으로 트랜스덕티브 노드 분류(AIFB, MUTAG) 및 인덕티브 그래프 분류(Tox21)를 평가한다.

실험 결과

연구 질문

• RQ1 RGAT가 트랜스덕티브 노드 분류 작업에서 RGCN보다 우수하거나 경쟁력을 가지는가?
• RQ2 RGAT 변형(WIRGAT 대 ARGAT)과 로짓 유형(additive 대 multiplicative)이 트랜스덕티브 작업에서 이득을 주는가?
• RQ3 RGAT가 분자 특성 예측과 같은 인덕티브 그래프 분류 작업에서 유리한가?
• RQ4 다양한 소프트맥스 스킴(Within-Relation 대 Across-Relation)이 관계 어텐션에 실제로 어떤 영향을 미치는가?
• RQ5 RGAT의 강점과 한계를 관계형 데이터세트 전반에서 드러내는 기준 베이스라인은 무엇인가?

주요 결과

모델	AIFB	MUTAG
FEAT	55.55	0.00
WL	80.55	80.88
RDF2Vec	88.88	67.20
RGCN	95.83	73.23
RGCN (ours)	94.64	74.15
Additive attention (C-) WIRGAT	96.86	69.37
WIRGAT	96.83	69.83
Additive attention (C-) ARGAT	93.05	63.69
ARGAT	94.01	65.54
Multiplicative attention (C-) WIRGAT	93.71	69.57
WIRGAT (mult)	92.92	69.60
Multiplicative attention (C-) ARGAT	95.89	74.38
ARGAT (mult)	96.19	73.17

• RGAT는 작업 및 구성에 따라 RGCN에 비해 경쟁력 있거나 열등한 성능을 보인다.
• AIFB(트랜스덕티브)에서 추가 로짓의 WIRGAT가 RGAT 변형들 중 최적으로 작동하며 일정 수준의 고정 주의 대비 이득이 있지만, MUTAG에서는 RGCN이 종종 RGAT보다 우수하다.
• Tox21(인덕티브)에서 곱셈 ARGAT 및 곱셈 WIRGAT가 RGCN 대비 약간의 이득을 제공하며, 특정 비교에서 이득이 유의하게 나타난다.
• 일반적으로 additve 로짓의 WIRGAT과 multiplicative 로짓의 ARGAT가 서로 다른 작업 유형에 대해 권장되지만, 어떤 RGAT 변형도 보편적으로 RGCN을 능가하지는 않는다.
• 트랜스덕티브 작업은 스펙트럴 방법(RGCN)이나 전통적인 그래프 커널(WL)과 같은 방법을 선호하는 경향이 있을 수 있지만, 특정 인덕티브 작업은 다변량 ARGAT를 포함한 RGAT 변형에서 이익을 얻을 수 있다.
• 해당 연구는 엄밀한 하이퍼파라미터 탐색, CDF 및 통계 검정을 통해 결론을 뒷받침한다.