[論文レビュー] Watch Your Step: Learning Graph Embeddings Through Attention.

Sami Abu-El-Haija, Bryan Perozzi+2 more|arXiv (Cornell University)|Oct 26, 2017

Advanced Graph Neural Networks参考文献 26被引用数 21

ひとこと要約

この論文は、遷移行列のべき級数を逆誤差伝搬することで、グラフ埋め込みの最適なランダムウォークハイパーパラメータを学習する微分可能アテンション機構を提案する。実世界の多様なグラフにおいてリンク予測性能を20–45%向上させ、手動で最適化された値と整合する学習済みパラメータを達成した。

ABSTRACT

Graph embedding methods represent nodes in a continuous vector space, preserving information from the graph (e.g. by sampling random walks). There are many hyper-parameters to these methods (such as random walk length) which have to be manually tuned for every graph. In this paper, we replace random walk hyper-parameters with trainable parameters that we automatically learn via backpropagation. In particular, we learn a novel attention model on the power series of the transition matrix, which guides the random walk to optimize an upstream objective. Unlike previous approaches to attention models, the method that we propose utilizes attention parameters exclusively on the data (e.g. on the random walk), and not used by the model for inference. We experiment on link prediction tasks, as we aim to produce embeddings that best-preserve the graph structure, generalizing to unseen information. We improve state-of-the-art on a comprehensive suite of real world datasets including social, collaboration, and biological networks. Adding attention to random walks can reduce the error by 20% to 45% on datasets we attempted. Further, our learned attention parameters are different for every graph, and our automatically-found values agree with the optimal choice of hyper-parameter if we manually tune existing methods.

研究の動機と目的

• グラフ埋め込み手法における手動ハイパーパラメータチューニングを排除すること。
• 未知のリンクへの一般化を向上させるために、ノード埋め込みにおけるグラフ構造の保存を改善すること。
• トレーニング中にのみランダムウォーク上で動作するアテンション機構を開発すること。
• 学習済みアテンションパラメータが、多様なグラフにおいて手動で最適化された値と一貫しているかどうかを示すこと。

提案手法

• 固定されたランダムウォークハイパーパラメータを、ランダムウォークプロセスをガイドする学習可能なアテンションパラメータに置き換える。
• 遷移行列のべき級数を用いてランダムウォークプロセスをモデル化し、微分可能最適化を可能にする。
• 上流のリンク予測目的を最適化するために、バックプロパゲーションによりアテンションウェイトを学習する。
• アテンション機構はトレーニング中にのみ適用され、推論時には使用しない。
• 勾配降下法を用いてエンドツーエンドに訓練し、リンク予測損失を最小化する。
• アプローチは、ソーシャル、コラボレーション、生物学的ネットワークを含む、さまざまなグラフタイプに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構は、手動チューニングなしで、グラフ埋め込みの最適なランダムウォークハイパーパラメータを自動的に学習できるか？
• RQ2 提案手法の性能は、リンク予測タスクにおける最先端のグラフ埋め込みモデルと比較してどうなるか？
• RQ3 手動で最適化されたハイパーパラメータ値と一致する学習済みアテンションパラメータが得られるか？
• RQ4 この手法は、未知のグラフ構造への一般化をどの程度向上させるか？

主な発見

• 提案手法は、最先端のベースラインと比較して、複数の実世界データセットにおいてリンク予測誤差を20%から45%まで低減した。
• 学習済みアテンションパラメータはグラフ固有であり、常に手動で最適化された最適ハイパーパラメータと一貫している。
• モデルは、ソーシャル、コラボレーション、生物学的ネットワークを含む多様なグラフタイプに良好に一般化した。
• アテンション機構は、構造的情報を保持するようにランダムウォークを動的にガイドすることで、埋め込み品質を向上させた。
• 下流モデルアーキテクチャや推論パイプラインを変更せずに、優れた性能を達成した。
• アテンションパラメータはトレーニング時のみ有効であり、推論時にランタイムオーバーヘッドを発生させない。