[論文レビュー] Learning Graph Representations with Embedding Propagation

Alberto García-Durán, Mathias Niepert|arXiv (Cornell University)|Oct 9, 2017

Advanced Graph Neural Networks参考文献 33被引用数 75

ひとこと要約

本論文は Embedding Propagation (Ep) を紹介する。教師なしフレームワークで、隣接ノード間でラベルベースのメッセージを伝播させ、ラベル埋め込みを再構成してノード表現を更新する。Ep-B は、単純な Ep のインスタンスで、より少ないパラメータとハイパーパラメータで、複数のグラフベンチマークにおいて競争力のあるまたは優れた性能を達成する。

ABSTRACT

We propose Embedding Propagation (EP), an unsupervised learning framework for graph-structured data. EP learns vector representations of graphs by passing two types of messages between neighboring nodes. Forward messages consist of label representations such as representations of words and other attributes associated with the nodes. Backward messages consist of gradients that result from aggregating the label representations and applying a reconstruction loss. Node representations are finally computed from the representation of their labels. With significantly fewer parameters and hyperparameters an instance of EP is competitive with and often outperforms state of the art unsupervised and semi-supervised learning methods on a range of benchmark data sets.

研究の動機と目的

• ソーシャルネットワークやバイオ情報学など、グラフ構造データに対する教師なし学習の動機付け。
• 隣接ノード間でラベル埋め込みを交換することによりノード表現を学習する Embedding Propagation (Ep) を提案する。
• 再構成損失からの勾配信号を通じてラベル埋め込みを更新する再構成ベースの学習を可能にする。
• 単純な平均集約子とマージンベースのランキング損失を用いた具体的な Ep-B のインスタンスを提供し、効果を示す。

提案手法

• 各種類のノードラベルを微分可能な関数 f_i で埋め込み、ラベル埋め込みを得る。
• 隣接ノードのラベル埋め込みから ~g_i によってラベル埋め込みを集約し、頂点埋め込みを計算する。
• すべてのラベルタイプにまたがる再構成ロスを最小化して、現在のラベル埋め込みと再構成済みラベル埋め込みを一致させる。
• ノードのラベルの再構成を自身の埋め込みに近づけ、他者の埋め込みより近づけるようマージンベースのランキング損失を用いる。
• 型ごとのラベル埋め込みを結合して、下流タスクに供給するノード表現を形成する。

実験結果

リサーチクエスチョン

• RQ1 教師なしの Embedding Propagation は競争力のあるグラフ表現を学習できるのか？
• RQ2 複数タイプのノードラベル（例: 単語、ID、属性）をグラフ全体へどれだけ効果的に統合・伝搬させられるか？
• RQ3 単純な平均化とマージン損失を用いた Ep-B は実世界のグラフにスケールし、帰納学習をサポートするか？

主な発見

• Ep-B は BlogCatalog、POS、PPI において、transductive と inductive の設定の両方で、最高またはほぼ最高の micro F1 および macro F1 スコアを達成する。
• Ep-B は複数のデータセットで DeepWalk、Node2vec、LINE、wvRN などのベースラインを一貫して上回し、パラメータとハイパーパラメータの調整が少なくて済む。
• Ep-B はエッジが有向である場合や、グラフに複数のラベルタイプと属性情報がある場合でも、依然として有効である。
• 埋め込み可視化は、Ep-B が複数のラベルタイプを効果的に結合して、分離可能なクラスタを形成することを示している。
• Ep 表現は、未見ノードのラベル埋め込みを再構成することにより、再トレーニングなしで帰納的な一般化をサポートする。