[논문 리뷰] DyFormer: A Scalable Dynamic Graph Transformer with Provable Benefits on Generalization Ability

Weilin Cong, Yanhong Wu외 5명|arXiv (Cornell University)|2021. 11. 19.

Advanced Graph Neural Networks참고 문헌 40인용 수 4

한 줄 요약

DyFormer는 공간-시간 인코딩과 하위그래프 샘플링을 활용한 두 개의 타워 아키텍처를 통해 은닉된 간선과 시간에 따른 변화를 모델링하는 확장 가능한 동적 그래프 트랜스포머이다. 실세계 동적 그래프 벤치마크에서 최신 기법들보다 일관되게 1%–3%의 AUC 향상을 이룩하며, 증명 가능하게 유리한 자기지도 사전학습을 통해 일반화 능력을 향상시킨다.

ABSTRACT

Transformers have achieved great success in several domains, including Natural Language Processing and Computer Vision. However, its application to real-world graphs is less explored, mainly due to its high computation cost and its poor generalizability caused by the lack of enough training data in the graph domain. To fill in this gap, we propose a scalable Transformer-like dynamic graph learning method named Dynamic Graph Transformer (DyFormer) with spatial-temporal encoding to effectively learn graph topology and capture implicit links. To achieve efficient and scalable training, we propose temporal-union graph structure and its associated subgraph-based node sampling strategy. To improve the generalization ability, we introduce two complementary self-supervised pre-training tasks and show that jointly optimizing the two pre-training tasks results in a smaller Bayesian error rate via an information-theoretic analysis. Extensive experiments on the real-world datasets illustrate that DyFormer achieves a consistent 1%-3% AUC gain (averaged over all time steps) compared with baselines on all benchmarks.

연구 동기 및 목표

• 결합 또는 부정확한 링크로 인해 동적 그래프에서 그래프 신경망의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 그래프 크기와 시간 단계의 증가로 인해 발생하는 동적 그래프 학습의 확장성 한계를 극복하기 위해.
• 정보이론에 기반한 보완적인 자기지도 사전학습 작업을 통해 모델의 강인성과 일반화 능력을 향상시키기 위해.
• 시간-합성 그래프와 타겟팅된 노드 샘플링을 사용하여 그래프 크기와 시간 복잡도에 독립적인 효율적인 학습 프레임워크를 설계하기 위해.
• 다양한 실세계 데이터셋에서 동적 링크 예측 성능을 최고 수준으로 보여주기 위해.

제안 방법

• DyFormer는 공간-시간 인코딩을 활용한 두 개의 타워 트랜스포머 아키텍처를 사용하여 모델에 구조적 및 시간적 진화에 대한 인도적 편향을 통합한다.
• 다양한 시간 단계에 걸친 정보를 통합한 메타그래프로 변환하는 시간-합성 그래프 구조를 도입하여 효율적인 표현 학습을 가능하게 한다.
• 그래프 크기와 시간 단계의 수에 영향을 받지 않는 새로운 하위그래프 기반 노드 샘플링 전략을 제안하여 학습 복잡도를 낮춘다.
• 모든 노드 간 관계를 포함하는 완전 주의 메커니즘을 사용하여 입력 그래프 위상 구조를 초월한 암묵적 노드 관계를 포착함으로써 결합 또는 부정확한 링크에 대한 강인성을 향상시킨다.
• 일관된 자기지도 사전학습 작업 두 가지를 설계하여 일반화 능력을 향상시키며, 정보이론적 분석을 통해 베이지안 오차율 감소를 이론적으로 입증한다.
• 사전학습 목표를 공동 최적화하여 최종 성능 향상을 유지하면서도 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 공간-시간 인코딩을 갖춘 트랜스포머 기반 아키텍처가 동적 그래프 진화를 효과적으로 모델링하고 암묵적 링크를 포착할 수 있는가?
• RQ2 정보이론적 분석에 의해 뒷받침되는 두 가지 보완적인 자기지도 사전학습 작업을 공동 최적화하면 증명 가능하게 더 나은 일반화 성능를 달성할 수 있는가?
• RQ3 시간-합성 그래프 구조와 함께 하위그래프 기반 샘플링 전략이 그래프 크기와 시간 단계에 독립적인 학습 복잡도를 달성할 수 있는가?
• RQ4 실세계 데이터셋에서 DyFormer은 최신 기법들과 비교해 동적 링크 예측 성능에서 어떻게 나타나는가?
• RQ5 결합 또는 부정확한 링크가 포함된 노이즈가 많은 입력 그래프에서 DyFormer의 강인성은 어떠한가?

주요 결과

• DyFormer은 실세계 동적 그래프 데이터셋 전반에서 링크 예측 작업에서 모든 기준 기법들보다 일관되게 1%–3%의 매크로 AUC 향상을 기록한다.
• 모델은 더 낮은 AUC 점수 표준편차를 보이며 안정성이 향상되어 더 강인한 학습을 나타낸다.
• 사전학습은 성능 향상에 크게 기여한다: 사전학습 없이 학습한 DyFormer은 특히 높은 파rameter 복잡도에서 더 낮은 AUC와 더 높은 분산을 보인다.
• 10%–50%의 인위적인 부정확하거나 결합된 링크가 포함된 노이즈가 많은 그래프에서, 완전 주의 집합을 사용한 DyFormer은 1-호프 주의 변형보다 더 높고 안정된 AUC 점수를 유지한다.
• 10% 노이즈 조건에서 UCI에서는 86.12±0.57의 매크로 AUC, Yelp에서는 71.64±0.18의 매크로 AUC를 기록하며, 일부 설정에서 1-호프 주의 변형보다 3% 이상 뛰어난 성능을 보였다.
• 절단 실험 결과는 공간-시간 인코딩, 두 개의 타워 아키텍처, 하위그래프 샘플링 전략이 성능 향상과 확장성 향상에 효과적이라는 것을 확인한다.