[論文レビュー] Efficient Representation Learning Using Random Walks for Dynamic Graphs

Hooman Peiro Sajjad, Andrew Docherty+1 more|arXiv (Cornell University)|Jan 5, 2019

Advanced Graph Neural Networks参考文献 30被引用数 22

ひとこと要約

本稿では、動的グラフにおける頂点表現学習のための効率的な段階的アルゴリズムを、ランダムウォークを用いて提案する。影響を受ける頂点とウォークを追跡することにより、Unbiased UpdateおよびIncremental手法は、グラフ変更率に比例する計算量で統計的に妥当な埋め込みを効率的に維持する。再訓練から再構築するのと比べて著しく高速であり、最先端の性能を達成している。

ABSTRACT

An important part of many machine learning workflows on graphs is vertex representation learning, i.e., learning a low-dimensional vector representation for each vertex in the graph. Recently, several powerful techniques for unsupervised representation learning have been demonstrated to give the state-of-the-art performance in downstream tasks such as vertex classification and edge prediction. These techniques rely on random walks performed on the graph in order to capture its structural properties. These structural properties are then encoded in the vector representation space. However, most contemporary representation learning methods only apply to static graphs while real-world graphs are often dynamic and change over time. Static representation learning methods are not able to update the vector representations when the graph changes; therefore, they must re-generate the vector representations on an updated static snapshot of the graph regardless of the extent of the change in the graph. In this work, we propose computationally efficient algorithms for vertex representation learning that extend random walk based methods to dynamic graphs. The computation complexity of our algorithms depends upon the extent and rate of changes (the number of edges changed per update) and on the density of the graph. We empirically evaluate our algorithms on real world datasets for downstream machine learning tasks of multi-class and multi-label vertex classification. The results show that our algorithms can achieve competitive results to the state-of-the-art methods while being computationally efficient.

研究の動機と目的

• 時間の経過とともに変化する動的グラフに静的表現学習手法を適用する際の非効率性を解消すること。
• 各グラフ変更の度に再訓練から再構築するのではなく、頂点埋め込みを段階的に更新するアプローチを開発すること。
• グラフ構造の変更にもかかわらず、更新されたランダムウォークがグラフ構造を統計的に代表し続けるようにすること。
• グラフのサイズではなく、変更の程度と頻度に依存するように計算コストを低減すること。

提案手法

• グラフ更新によって無効化される既存のランダムウォークの部分を特定するための「影響を受ける頂点」と「影響を受けるウォーク」の概念を導入する。
• Unbiased Updateアルゴリズムを提案し、現在のグラフ構造に基づいて古くなったセグメントを新しいものに置き換えることで、既存のランダムウォークを段階的に修正する。
• Incrementalアルゴリズムを設計し、新たに生成されたランダムウォークを用いて頂点表現を更新することで、静的ベースライン手法と整合性を保つ。
• 影響を受ける頂点を含むウォークを優先するサンプリング戦略を採用し、無駄な再計算を最小限に抑える。
• 静的アルゴリズムによる完全再計算と同等の統計的同等性が、更新されたウォークに保たれることを保証する。
• ランダムウォークとスキップグラムモデルとの関係を活用し、ネガティブサンプリングを用いたスキップグラム（SGNS）を段階的に用いて埋め込みを学習する。

実験結果

リサーチクエスチョン

• RQ1 完全な再訓練なしに、動的グラフにおけるランダムウォークベースの表現学習を効率的に更新できるか？
• RQ2 段階的更新中にランダムウォークの統計的妥当性をどのように保てるか？
• RQ3 グラフ変更の程度に応じて、段階的埋め込み更新の計算量はどの程度になるか？
• RQ4 ノード分類などの下流タスクにおいて、段階的手法は静的ベースラインと比べてどのように性能を発揮するか？
• RQ5 計算コストを削減しつつ、最先端の手法と同等の性能を段階的更新で維持できるか？

主な発見

• Unbiased Updateアルゴリズムは、静的アルゴリズムが出力するものと統計的に区別できないランダムウォークを生成し、表現品質を保証する。
• Incrementalアルゴリズムは、マルチクラスおよびマルチラベルのノード分類タスクで競争力のある性能を達成し、実世界のデータセットでは静的ベースラインを同等または上回る。
• CoraおよびCoCitにおいて、Naïve Updateアルゴリズムは静的手法にわずかに劣る性能を示しており、単純な段階的更新の限界を示している。
• 提案手法の計算コストは、1回の更新における変更エッジ数に比例しており、変更率が低〜中程度のグラフに対して効率的である。
• 訓練データサイズの変動に対しても安定した性能を示しており、段階的アプローチの頑健性と信頼性が裏付けられている。