[논문 리뷰] Provably expressive temporal graph networks

Amauri H. Souza, Diego Mesquita외 2명|arXiv (Cornell University)|2022. 09. 29.

Epigenetics and DNA Methylation인용 수 16

한 줄 요약

이 논문은 기존의 MP-TGN과 WA-TGN의 한계를 극복하기 위해 투사적 메시지 전파와 상대적 위치 특징을 조합한 증명 가능하게 더 표현력 있는 시간적 그래프 네트워크인 PINT를 소개한다. 이는 시간적 Weisfeiler-Leman 테스트와 동일한 표현력을 갖는다며 이론적 기반을 구축하며, 샘플링 오버헤드 없이 전역적 맥락과 국소적 동역학을 모두 활용함으로써 실세계 벤치마크에서 기존 모델을 능가한다.

ABSTRACT

Temporal graph networks (TGNs) have gained prominence as models for embedding dynamic interactions, but little is known about their theoretical underpinnings. We establish fundamental results about the representational power and limits of the two main categories of TGNs: those that aggregate temporal walks (WA-TGNs), and those that augment local message passing with recurrent memory modules (MP-TGNs). Specifically, novel constructions reveal the inadequacy of MP-TGNs and WA-TGNs, proving that neither category subsumes the other. We extend the 1-WL (Weisfeiler-Leman) test to temporal graphs, and show that the most powerful MP-TGNs should use injective updates, as in this case they become as expressive as the temporal WL. Also, we show that sufficiently deep MP-TGNs cannot benefit from memory, and MP/WA-TGNs fail to compute graph properties such as girth. These theoretical insights lead us to PINT -- a novel architecture that leverages injective temporal message passing and relative positional features. Importantly, PINT is provably more expressive than both MP-TGNs and WA-TGNs. PINT significantly outperforms existing TGNs on several real-world benchmarks.

연구 동기 및 목표

• 시간적 그래프 네트워크(TGN)의 표현력에 대한 이론적 기반을 구축하는 것. 이는 실용적 성공에도 불구하고 여전히 이해가 부족한 분야이다.
• 기존 TGN 유형인 MP-TGN(메시지 전파와 메모리)과 WA-TGN(워크 집계)의 근본적 한계를 규명하기 위해, 이들이 표현력에서 상호 대체 불가능하다는 것을 증명하는 것.
• TGN에서 이론적 보장을 제공하지 못하는 문제를 해결하기 위해, MP-TGN과 WA-TGN보다 증명 가능하게 더 표현력 있는 새로운 아키텍처인 PINT를 도입하는 것.
• 깊은 MP-TGN에서 메모리가 불필요하다는 것을 입증하고, MP-TGN과 WA-TGN가 모두 고리 길이, 지름 등의 핵심 그래프 성질을 계산하지 못한다는 것을 보여주는 것.

제안 방법

• 동적 그래프에서 TGN의 표현력을 측정하기 위해 1-WL(Weisfeiler-Leman) 테스트의 시간적 확장판을 제안한다.
• MP-TGN에 투사적 메시지 전파 및 업데이트 함수를 도입하여, 익명적 메시지 전파 TGN의 최대 표현력에 도달할 수 있음을 보여준다.
• 투사적 시간적 메시지 전파와 학습 가능한 상대적 위치 특징을 조합한 새로운 아키텍처인 PINT를 개발하여, 워크 집계 방법의 분별력을 모방한다.
• 워크 샘플링 기반의 CAW 방식과 비교해 샘플링 없이도 시간적 워크의 구조를 상대적 위치 특징으로 인코딩함으로써 계산 비용을 절감한다.
• 장기적 의존성을 유지하면서도 효율성을 확보하기 위해 상대적 위치 인코딩을 통합한 메모리 메커니즘을 활용한다.
• 모델 튜닝을 위해 그리드 서치와 자동 하이퍼파ram터 선택을 적용하였으며, 훈련 효율성을 높이기 위해 위치 특징는 사전에 계산하여 희소 행렬로 저장한다.

실험 결과

연구 질문

• RQ1 MP-TGN과 WA-TGN의 표현력은 어떻게 비교되며, 한쪽이 另한쪽을 포함하는가?
• RQ2 충분히 깊은 아키텍처에서 MP-TGN의 메모리는 제거될 수 있는가?
• RQ3 기존 TGN은 고리 길이, 지름, 사이클 수와 같은 기본 그래프 성질을 계산할 수 있는가?
• RQ4 MP-TGN과 WA-TGN보다 증명 가능하게 더 표현력 있는 TGN 아키텍처가 존재하는가?
• RQ5 투사적 함수와 상대적 위치 특징은 TGN의 표현력 향상에 어떤 역할을 하는가?

주요 결과

• MP-TGN에 투사적 메시지 전파 및 업데이트 함수를 적용하면, 이는 시간적 Weisfeiler-Leman 테스트와 동일한 표현력을 갖게 되며, 익명적 MP-TGN의 이론적 상한선을 설정한다.
• 충분히 깊은 MP-TGN에서는 메모리가 유의미한 성능 향상 효과를 주지 않으며, 깊이에 의해 먼 노드까지의 수신 영역이 이미 커지기 때문이다.
• MP-TGN과 WA-TGN는 상호 표현력에서 지배 관계가 없으며, 각각 다른 구조를 구분할 수 있기 때문에 상호 대체 불가능하다는 것이 입증된다.
• MP-TGN과 CAW 기반 WA-TGN는 모두 고리 길이, 지름, 사이클 수와 같은 내재된 그래프 성질을 계산하지 못한다.
• PINT는 여러 벤치마크에서 최고 성능을 기록하며, 노드 분류에서 Reddit(ROC-AUC: 67.31 ± 0.2)에서 1위, Wikipedia(87.59 ± 0.6)에서 2위를 기록한다.
• 초기 전처리 후 PINT는 CAW보다 빠르며, 샘플링 비용을 피함으로써 Enron과 LastFM에서 에포크당 훈련 시간이 CAW보다 크게 단축된다.