[論文レビュー] Do We Really Need Complicated Model Architectures For Temporal Networks?
GraphMixer は、固定時間エンコーディングと1-hop 隣接情報を用いた、RNNや自己注意を使わない最先端の temporal link prediction を実現する、シンプルなMLPベースのアーキテクチャです。収束が速く、一般化能力も優れています。
Recurrent neural network (RNN) and self-attention mechanism (SAM) are the de facto methods to extract spatial-temporal information for temporal graph learning. Interestingly, we found that although both RNN and SAM could lead to a good performance, in practice neither of them is always necessary. In this paper, we propose GraphMixer, a conceptually and technically simple architecture that consists of three components: (1) a link-encoder that is only based on multi-layer perceptrons (MLP) to summarize the information from temporal links, (2) a node-encoder that is only based on neighbor mean-pooling to summarize node information, and (3) an MLP-based link classifier that performs link prediction based on the outputs of the encoders. Despite its simplicity, GraphMixer attains an outstanding performance on temporal link prediction benchmarks with faster convergence and better generalization performance. These results motivate us to rethink the importance of simpler model architecture.
研究の動機と目的
- RNNと自己アテンションが時間的グラフ学習に不可欠かどうかを評価する。
- 単純な RNN/SAM 不要のアーキテクチャ(GraphMixer)を提案し、時間的リンク予測における性能を評価する。
- GraphMixer の成功に寄与する要因を特定する。入力の単純さ、固定時間エンコーディング、MLP ベースのリンクエンコーダを含む。
提案手法
- GraphMixer を、リンクエンコーダ(MLP ベース)、ノードエンコーダ(隣接ノードの平均プーリング)、および ML Pベースのリンク分類器という3つの構成要素で導入する。
- タイムスタンプを区別するため、omega は固定で学習しない固定時間エンコーディング関数 z(t) = cos(t * omega) を実装する。
- 時間エンコーディングの後、固定長 K へのゼロパディングを行い、1層の MLP-Mixer を用いて時間的リンク情報を要約する。
- ノード情報はノード特徴量と1-hop 隣接ノードの平均プーリングで表現し、リンク予測のためリンクエンコーダ出力と結合する。
- 複数の実在の時系列グラフデータセットで訓練・評価を行い、RNN-および SAM ベースのベースラインと比較し、アブレーションとして GraphMixer-L(リンクエンコーダのみ)と GraphMixer-N(ノードエンコーダのみ)を評価する。

実験結果
リサーチクエスチョン
- RQ1RNNとSAMは時間的グラフ学習において常に必要ですか?
- RQ2RNNやSAMを用いない単純なMLPベースのアーキテクチャは、時間的リンク予測で競争力のある、あるいはそれ以上の性能を達成できますか?
- RQ3GraphMixer の性能向上に寄与する要因は何ですか(入力の単純さ、固定時間エンコーディング、エンコーダ設計)?
主な発見
- GraphMixer は、 temporal link prediction における平均精度で全データセットの全ベースラインを上回る。
- 固定時間エンコーディング関数は、ベースラインで用いられる学習可能な時間エンコーディングよりも、訓練を滑らかにし、一般化性能を向上させる。
- MLPベースのリンクエンコーダは時間的シーケンスを効果的に捉えることができ、1-hop 隣接情報の恩恵を受ける。一方、ノードエンコーダ単独では不十分である。
- 特定のデータセットでは、1-hot のノード識別子がノード特徴よりも良い性能を発揮することがあり、ノード同一性情報の重要性を強調している。
- 多くのハイパーパラメータを持つより複雑なモデル(例: CAWs、TGSRec、DDGCL)は、デフォルト設定では必ずしもより良く機能するとは限らない。

この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。