[論文レビュー] RWR-GAE: Random Walk Regularization for Graph Auto Encoders

Vaibhav, Po-Yao Huang+1 more|arXiv (Cornell University)|Aug 12, 2019

Advanced Graph Neural Networks参考文献 19被引用数 26

ひとこと要約

本稿では、局所的なトポロジーの認識を強化し、より良い潜在分布制御を実現するため、ランダムウォーク正則化を施したグラフオートエンコーダー RWR-GAE を提案する。ランダムウォークに基づくスキップグラム風の目的関数を追加することで、Cora、Citeseer、PubMed データセットにおいて、自己教師ありノードクラスタリングで最高水準の性能（最高7.5%の向上）を達成し、リンク予測においても競争力のある結果を得た。

ABSTRACT

Node embeddings have become an ubiquitous technique for representing graph data in a low dimensional space. Graph autoencoders, as one of the widely adapted deep models, have been proposed to learn graph embeddings in an unsupervised way by minimizing the reconstruction error for the graph data. However, its reconstruction loss ignores the distribution of the latent representation, and thus leading to inferior embeddings. To mitigate this problem, we propose a random walk based method to regularize the representations learnt by the encoder. We show that the proposed novel enhancement beats the existing state-of-the-art models by a large margin (upto 7.5\%) for node clustering task, and achieves state-of-the-art accuracy on the link prediction task for three standard datasets, cora, citeseer and pubmed. Code available at https://github.com/MysteryVaibhav/DW-GAE.

研究の動機と目的

• 標準のグラフオートエンコーダーが潜在表現の分布を無視し、局所的なトポロジーを捉えられていないという限界を是正すること。
• より一様で情報量の多いクラスタ内埋め込みを強制することで、自己教師ありノードクラスタリングの性能を向上させること。
• 再構成損失だけに依存するのではなく、ランダムウォークを介した文脈予測を組み込むことで、より強い学習信号を提供すること。
• ガウス事前分布に依存せずに、自然にグラフ構造を符号化できる正則化手法を開発すること。
• 標準的なベンチマークを用いて、クラスタリングおよびリンク予測の両タスクにおける評価を実施すること。

提案手法

• 各ノード埋め込みが、ウォーク内の隣接ノードを予測するよう促すランダムウォークに基づく正則化目的関数を導入する。
• 標準のグラフオートエンコーダーの再構成損失に加え、ランダムウォークシーケンス上でスキップグラム風の目的関数を組み合わせる。
• 各ウォーク内のノードが、その埋め込みと隣接ノードの埋め込みに基づいて予測されるウィンドウ付き文脈予測タスクを採用する。
• 大規模なグラフにスケーリングするため、トレーニング中にランダムウォークのミニバッチを用いた確率的最適化を適用する。
• スキップグラム目的関数を活用し、潜在空間を、局所的ネットワーク構造をより的確に表現できるように正則化する。
• 再構成誤差と文脈予測損失の両方を最小化する共同学習目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークに基づく正則化は、グラフオートエンコーダーが学習するノード埋め込みの品質を向上させるか？
• RQ2 ランダムウォークを介した文脈予測の強制は、クラスタ内分布の向上とクラスタ内距離の低減に寄与するか？
• RQ3 標準的な引用ネットワークにおいて、RWR-GAE は自己教師ありノードクラスタリングの最先端手法と比較して優れているか？
• RQ4 提案手法は、クラスタリングの向上を図る一方で、リンク予測においても競争力のある性能を達成できるか？
• RQ5 ウォーク長やウィンドウサイズといったハイパーパrameter の影響は、モデル性能にどのように現れるか？

主な発見

• Citeseer データセットにおいて、敵対的正則化付きオートエンコーダーと比較して、RWR-GAE はクラスタリング精度で7.5%の向上を達成した。
• PubMed では、標準的な GAE と比較して、調整ランダ指数（ARI）が18.3%向上し、正規化相互情報量（NMI）が7.5%向上した。
• Cora では、変分グラフオートエンコーダーと比較して、クラスタリング精度が12.4%向上した。
• モデルはクラスタ内距離を 0.99（GAE 時）から 0.64 に低減させ、クラスタ内での埋め込みがより一様で均等に分散していることを示した。
• RWR-GAE はより速く収束し、標準的な GAE が約200エポックでピークに達するのに対し、約100エポックでピーク性能に到達した。
• 確率的ウォークサンプリングによるスコアのばらつきがやや高かったものの、全データセットで強力で一貫した性能を維持した。