[논문 리뷰] GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph

Junhan Yang, Zheng Liu외 7명|arXiv (Cornell University)|2021. 05. 06.

Advanced Graph Neural Networks인용 수 51

한 줄 요약

그래프Formers는 GNN과 트랜스포머 블록을 중첩된 아키텍처로 결합하여 텍스트와 그래프 구조를 함께 인코딩하며, 이중 단계 점진 학습 전략을 사용해 대형 텍스트 그래프 벤치마크에서 최첨단 결과를 달성하고 비교 가능한 효율성을 보인다.

ABSTRACT

The representation learning on textual graph is to generate low-dimensional embeddings for the nodes based on the individual textual features and the neighbourhood information. Recent breakthroughs on pretrained language models and graph neural networks push forward the development of corresponding techniques. The existing works mainly rely on the cascaded model architecture: the textual features of nodes are independently encoded by language models at first; the textual embeddings are aggregated by graph neural networks afterwards. However, the above architecture is limited due to the independent modeling of textual features. In this work, we propose GraphFormers, where layerwise GNN components are nested alongside the transformer blocks of language models. With the proposed architecture, the text encoding and the graph aggregation are fused into an iterative workflow, {making} each node's semantic accurately comprehended from the global perspective. In addition, a {progressive} learning strategy is introduced, where the model is successively trained on manipulated data and original data to reinforce its capability of integrating information on graph. Extensive evaluations are conducted on three large-scale benchmark datasets, where GraphFormers outperform the SOTA baselines with comparable running efficiency.

연구 동기 및 목표

• 노드 텍스트와 이웃 구조를 공동으로 모델링함으로써 텍스트 그래프에 대한 정확한 표현을 동기화할 Motivation.
• 텍스트 인코딩과 그래프 집계를 반복적으로 융합하는 GNN-중첩 Transformer 아키텍처를 제안.
• 그래프 구조로부터의 정보 통합을 강화하기 위한 두 단계의 점진 학습 regime를 도입.
• GraphFormers가 비교 가능한 효율성 하에서 최첨단 cascaded Transformer-GNN baselines를 능가함을 입증

제안 방법

• GNN 구성 요소를 Transformer 블록과 함께 둥근 흐름에서 텍스트 인코딩과 그래프 집계를 융합하도록 Nesting합니다.
• 레이어별 GNN과 다중 헤드 어텐션을 사용해 이웃을 통해 집계되는 노드 수준 메시지를 생성합니다.
• Transformer에서 비대칭 다중 헤드 어텐션을 사용해 중심에서 이웃으로의 참조를 허용하고 이웃 인코딩의 캐싱을 가능하게 합니다.
• 각 레이어에서 이웃에 의해 정보가 반영된 노드 임베딩과 토큰 임베딩을 연결하여 그래프 보강 토큰 임베딩을 도입합니다.
• 두 단계의 점진 학습 목적 함수를 통해 훈련합니다: 먼저 오염된 입력에서 그래프 정보의 사용을 강제한 후 원래 데이터로 목표 분포를 달성하도록 합니다.
• 원하는 경우 이웃 인코딩을 캐시하고 계산 비용을 줄이기 위해 단방향 그래프 집계를 사용할 수 있습니다.

실험 결과

연구 질문

• RQ1 텍스트 그래프에 대해 GNN 기반 이웃 정보를 Transformer 기반 텍스트 인코더에 직접 통합하는 방법은 무엇인가?
• RQ2 nested GNN-Transformer 아키텍처가 cascaded 텍스트 우선 후 그래프 집계 모델에 비해 노드 표현 품질을 향상시키는가?
• RQ3 점진적이고 2단계 학습 전략이 그래프 정보를 활용하는 능력을 향상시키면서 효율성을 유지하는가?
• RQ4 단방향 그래프 집계가 성능 및 계산 비용에 어떤 영향을 미치는가?

주요 결과

• GraphFormers는 세 가지 대규모 텍스트 그래프 데이터셋(Product, DBLP, Wiki)에서 최첨단 cascaded Transformer-GNN baselines를 지속적으로 능가합니다.
• 세 데이터셋에서 strongest baselines 대비 각각 2.9%, 4.8%, 6.5%의 상대적 개선을 보입니다.
• GraphFormers의 시간 및 메모리 비용은 neighborhood 크기가 커져도 PLM+Max baselines에 근접한 수준으로 비교적 효율성을 유지합니다.
• 두 단계의 점진 학습은 원래 데이터에서 직접 훈련하는 경우에 비해 주요 메트릭에서 약 1%~2%의 표현력 품질을 크게 향상시킵니다.
• 단방향 그래프 집합 변형은 성능을 유지하면서도 substantial caching으로 이웃 인코딩의 중복 계산을 감소시킵니다.
• Ablation 연구는 점진 학습의 필요성과 위치 편향 및 공유 GNN이 성능에 미미하게 기여한다는 것을 보여줍니다.