Skip to main content
QUICK REVIEW

[논문 리뷰] Do We Really Need Complicated Model Architectures For Temporal Networks?

Weilin Cong, Si Zhang|arXiv (Cornell University)|2023. 02. 22.
Advanced Graph Neural NetworksComputer Science인용 수 19
한 줄 요약

GraphMixer, 고정된 시간 인코딩과 1-hop 이웃 정보를 갖는 단순한 MLP 기반 아키텍처가 RNN이나 자기 주의(attention) 없이도 최첨단의 시계열 링크 예측을 달성하며, 수렴 속도가 빠르고 일반화가 더 좋습니다.

ABSTRACT

Recurrent neural network (RNN) and self-attention mechanism (SAM) are the de facto methods to extract spatial-temporal information for temporal graph learning. Interestingly, we found that although both RNN and SAM could lead to a good performance, in practice neither of them is always necessary. In this paper, we propose GraphMixer, a conceptually and technically simple architecture that consists of three components: (1) a link-encoder that is only based on multi-layer perceptrons (MLP) to summarize the information from temporal links, (2) a node-encoder that is only based on neighbor mean-pooling to summarize node information, and (3) an MLP-based link classifier that performs link prediction based on the outputs of the encoders. Despite its simplicity, GraphMixer attains an outstanding performance on temporal link prediction benchmarks with faster convergence and better generalization performance. These results motivate us to rethink the importance of simpler model architecture.

연구 동기 및 목표

  • RNN과 자기 주의가 시간적 그래프 학습에 필수적인가를 평가한다.
  • 간단한 RNN/SAM-없는 아키텍처(GraphMixer)를 제안하고, 시간적 링크 예측에서의 성능을 평가한다.
  • 입력의 단순성, 고정 시간 인코딩, MLP 기반 링크 인코더를 포함한 GraphMixer의 성공 요인을 파악한다.

제안 방법

  • GraphMixer를 세 가지 구성 요소로 소개한다: link-encoder(MLP 기반), node-encoder(이웃 평균 풀링), 그리고 MLP 기반 링크 분류기.
  • 타임스탬프를 구분하기 위해 고정된 시간 인코딩 함수 z(t) = cos(t * omega)을 구현하며, omega는 고정되고 학습되지 않는다.
  • time-encoding 후 고정 길이 K로 제로 패딩하고 일_layer MLP-Mixer를 사용하여 시계열 링크 정보를 요약한다.
  • 노드 정보는 노드 특징과 1-hop 이웃 평균 풀링으로 표현하고, 링크 예측을 위해 링크-encoder 출력과 결합한다.
  • 다양한 실제 시간 그래프 데이터셋에서 RNN- 및 SAM 기반 베이스라인 및 GraphMixer-L(링크 인코더만)과 GraphMixer-N(노드 인코더만)의 ablation과 함께 학습 및 평가한다.
Figure 1: (Left) Temporal graph with nodes $v_{1},\ldots,v_{5}$ , per-link timestamps $t_{1},\ldots,t_{6}$ indicate when two nodes interact. For example, $v_{1},v_{2}$ interact at $t_{1},t_{5}$ . (Right) Each node has its node features (e.g., $\mathbf{x}_{1}^{\text{node}}$ for $v_{1}$ ) and each tem
Figure 1: (Left) Temporal graph with nodes $v_{1},\ldots,v_{5}$ , per-link timestamps $t_{1},\ldots,t_{6}$ indicate when two nodes interact. For example, $v_{1},v_{2}$ interact at $t_{1},t_{5}$ . (Right) Each node has its node features (e.g., $\mathbf{x}_{1}^{\text{node}}$ for $v_{1}$ ) and each tem

실험 결과

연구 질문

  • RQ1RNN과 SAM이 항상 시간적 그래프 학습에 필요한가?
  • RQ2RNN/SAM 없이도 간단한 MLP 기반 아키텍처가 시간적 링크 예측에서 경쟁적이거나 우수한 성능을 달성할 수 있는가?
  • RQ3입력의 간단함, 고정 시간 인코딩, 인코더 설계가 GraphMixer의 성능 향상에 어떤 기여를 하는가?

주요 결과

  • GraphMixer는 모든 데이터 세트에서 시간적 링크 예측의 평균 정밀도에서 모든 베이스라인을 능가한다.
  • 고정 시간 인코딩 함수는 베이스라인에서 사용하는 학습 가능한 시간 인코딩보다 더 부드러운 학습과 더 나은 일반화를 가져온다.
  • MLP 기반 링크 인코더가 시계열 순서를 효과적으로 포착할 수 있으며 1-hop 이웃 정보의 이점을 활용한다; 노드 인코더만으로는 불충분하다.
  • 일부 데이터 세트에서 원-핫 노드 정체성은 노드 특징보다 더 나은 성능을 보여 주며 노드 정체성 정보의 중요성을 강조한다.
  • 매우 많은 하이퍼파라미터를 가진 더 복잡한 모델(CAWs, TGSRec, DDGCL)은 기본 설정에서 반드시 더 잘 작동하지 않는다.
Figure 2: (a) Time-encoding function that pre-process timestamp $t$ into a vector $\cos(t\bm{\omega})$ . The x-axis is the vector dimension and the y-axis is the cosine value. (b) link-encoder takes the temporal link information of node $v_{2}$ as inputs and outputs a vector $\mathbf{t}_{2}(t_{0})$
Figure 2: (a) Time-encoding function that pre-process timestamp $t$ into a vector $\cos(t\bm{\omega})$ . The x-axis is the vector dimension and the y-axis is the cosine value. (b) link-encoder takes the temporal link information of node $v_{2}$ as inputs and outputs a vector $\mathbf{t}_{2}(t_{0})$

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.