[論文レビュー] A Survey on Temporal Graph Representation Learning and Generative Modeling

Shubham Gupta, Srikanta Bedathur|arXiv (Cornell University)|Aug 25, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本調査は時系列グラフ表現学習と生成モデルを統合し、スケーラビリティの低さ、インダクティブバイアスの欠如、エッジの重複度の高さといった既存手法の主な限界を特定する。Tiggerは、1つのグラフサンプルから構造的および時系列的分布を同時に学習できるスケーラブルでインダクティブな生成モデルであり、元のエッジを記憶することなく、現実的で多様なグラフの生成を可能にする。

ABSTRACT

Temporal graphs represent the dynamic relationships among entities and occur in many real life application like social networks, e commerce, communication, road networks, biological systems, and many more. They necessitate research beyond the work related to static graphs in terms of their generative modeling and representation learning. In this survey, we comprehensively review the neural time dependent graph representation learning and generative modeling approaches proposed in recent times for handling temporal graphs. Finally, we identify the weaknesses of existing approaches and discuss the research proposal of our recently published paper TIGGER[24].

研究の動機と目的

• 静的グラフ埋め込みと動的グラフ生成の間のギャップを埋めるために、時系列グラフ表現学習と生成モデルの統合的概要を提供すること。
• 現在の時系列グラフ生成モデルに見られる深刻な欠陥、たとえばスケーラビリティの低さ、非インダクティブ設計、および元のグラフとの高いエッジ重複度を特定すること。
• 入力グラフを記憶することを越えて一般化できる、スケーラブルでインダクティブな時系列インタラクショングラフの生成モデルの必要性を説得すること。
• Tiggerの問題定式化を提示すること。Tiggerは、1つの時系列グラフから構造的および時系列的性質の潜在的連合分布を学習する新しい手法である。

提案手法

• 1つの入力時系列インタラクショングラフから構造的および時系列的性質の隠れた連合分布を学ぶ生成モデルの問題定式化を提案する。
• ノードIDの1対1マッピングを避けることで、異なるサイズのグラフの生成が可能なスケーラブルでインダクティブな生成モデルTiggerを導入する。
• 潜在空間モデリング手法を用いて、相互作用間隔の時間分布および次数分布や連結成分といった進化するグラフ特性を捉える。
• 静的グラフへの変換に依存しない微分可能でアモルタイズド推論機構を用いることで、二次的メモリコストを回避し、時系列ダイナミクスをモデル化する。
• 1回の学習で1つのグラフインスタンスに訓練するワンショット学習パラダイムを活用し、未観測のグラフサイズや時系列範囲への一般化を可能にする。
• 変分推論フレームワークを用いて、入力グラフの尤度を最大化するとともに、生成されたグラフが異なっていて多様であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 高頻度のインタラクションと長い時間スパンを有する大規模グラフにスケーラブルな時系列グラフ生成モデルをどのように実現できるか？
• RQ2 固定されたノードIDマッピングに依存しないで、時系列グラフ生成におけるインダクティブ一般化を可能にする設計原則は何か？
• RQ3 元のグラフからのエッジを記憶することなく、構造的および時系列的性質の連合分布を生成モデルがどのように学習できるか？
• RQ4 TagGen や DYMOND といった既存モデルのスケーラビリティ、多様性、インダクティブバイアスの観点での主な限界は何か？
• RQ5 1つのグラフに限定したワンショット生成モデルは、時系列インタラクショングラフの潜在的ダイナミクスを効果的に捉えることができるか？

主な発見

• TagGen や DYMOND といった既存の時系列グラフ生成モデルは、10,000ノード未満および200タイムスパン未塔のグラフに限定され、スケーラビリティに著しい欠陥を示している。
• TagGen は、明示的なエッジコピーに起因し、生成されたグラフと元のグラフとの間で最大80％のエッジ重複度を示しており、一般化能力の欠如と記憶に起因する現象を示している。
• DYMOND の計算複雑度は O(N³T) であり、ノード数が多くまたは時間スパンが長い大規模グラフに対しては非現実的である。
• TagGen と DYMOND は両方とも非インダクティブであり、ノードIDの1対1マッピングに依存しているため、異なるサイズのグラフへの一般化が不可能である。
• 本調査は、スケーラブルでインダクティブな時系列グラフ生成モデル分野における重要な研究ギャップを特定し、Tiggerの開発を動機づけている。
• Tiggerは、エッジの記憶を避け、1つの入力グラフから出発して、多様な時系列グラフをインダクティブかつスケーラブルに生成することで、これらの限界を克服している。