[論文レビュー] Which way? Direction-Aware Attributed Graph Embedding

Zekarias T. Kefato, Nasrullah Sheikh+1 more|arXiv (Cornell University)|Jan 30, 2020

Advanced Graph Neural Networks参考文献 18被引用数 5

ひとこと要約

本稿では、エッジの方向性、ノードのコンテンツ（TF-IDF やバイナリ特徴量を介して）、および非有向近傍構造を、マルチオブジェクティブ損失関数を用いて同時に最適化する、方向性に配慮したテキスト拡張型グラフ埋め込み手法「Diagram」を提案する。この手法は、非対称なリンク予測およびネットワーク再構築において最先端の性能を達成しており、Cora および Citeseer データセットにおけるノード分類タスクでも、SOTA ベースラインと同等またはそれを上回る性能を示している。

ABSTRACT

Graph embedding algorithms are used to efficiently represent (encode) a graph in a low-dimensional continuous vector space that preserves the most important properties of the graph. One aspect that is often overlooked is whether the graph is directed or not. Most studies ignore the directionality, so as to learn high-quality representations optimized for node classification. On the other hand, studies that capture directionality are usually effective on link prediction but do not perform well on other tasks. This preliminary study presents a novel text-enriched, direction-aware algorithm called DIAGRAM , based on a carefully designed multi-objective model to learn embeddings that preserve the direction of edges, textual features and graph context of nodes. As a result, our algorithm does not have to trade one property for another and jointly learns high-quality representations for multiple network analysis tasks. We empirically show that DIAGRAM significantly outperforms six state-of-the-art baselines, both direction-aware and oblivious ones,on link prediction and network reconstruction experiments using two popular datasets. It also achieves a comparable performance on node classification experiments against these baselines using the same datasets.

研究の動機と目的

• グラフ埋め込みにおいて、方向性の保持とノード類似度の両立のジレンマを解消すること。
• 有向エッジの流れ、テキスト特徴量、非有向近傍の文脈を同時に捉えるモデルの開発。
• 特に非対称リンク予測において性能を向上させつつ、ノード分類の精度を損なわないように、複数のグラフ解析タスクを改善すること。
• 従来の手法が方向性に無関心であるか、非線形なグラフ構造を効果的にモデル化できないという限界を克服すること。
• 方向性、コンテンツ、文脈という3つの主要な側面をバランスさせるマルチオブジェクティブ学習フレームワークの設計。

提案手法

• Diagram は各ノードに対して3つの異なる埋め込みを学習する：非有向近傍およびコンテンツ類似度のための $\mathbf{z_u}$、出力近傍のための $\mathbf{o_u}$、入力近傍のための $\mathbf{i_u}$。
• モデルはマルチオブジェクティブ損失関数を用い、(1) $\texttt{dot}(\mathbf{o_u}, \mathbf{i_v})$ を用いた方向性に配慮した近接性、(2) TF-IDF やバイナリ特徴量を用いたコンテンツ類似性、(3) $\mathbf{M_u} \mid \mathbf{M^T_u}$ を用いた非有向近傍構造の同時最適化を実現する。
• Diagram ノードはノードごとに1つの共有埋め込みを用いるが、Diagram エッジは各エッジの方向ごとに別々の埋め込みを導入することで、非対称な関係のモデル化を向上させる。
• 一般化を高め、長距離依存関係を捉えるために、残差グラフ上で確率的勾配降下法を用いてエンドツーエンドで学習を行う。
• 下流タスクの入力特徴としてノード表現を用い、10分割交差検証の設定でロジスティック回帰を用いてノード分類を実施する。
• 特徴量行列 $\mathbf{D}$ は、ノードに関連付けられた文書を TF-IDF やバイナリ符号化を用いて構築し、テキストの意味を保持する。

実験結果

リサーチクエスチョン

• RQ1 方向性、テキスト的ノードコンテンツ、非有向近傍構造を、性能のトレードオフを伴わずに同時に保持できるグラフ埋め込みモデルは構築可能か？
• RQ2 方向性に配慮した埋め込みを組み込むことで、有向グラフにおけるリンク予測およびネットワーク再構築にどのような影響を与えるか？
• RQ3 マルチオブジェクティブ学習アプローチは、最先端のベースラインと比較して、ノード分類の精度をどの程度向上させられるか？
• RQ4 Diagram は、複数の評価タスクにおいて、方向性に無関心なベースラインおよび方向性に配慮したベースラインをすべて上回るか？
• RQ5 Diagram ノードと Diagram エッジの2つのバージョンは、性能の安定性およびばらつきの観点から、どのように比較できるか？

主な発見

• Diagram は、Cora および Citeseer データセットにおいて、6つの SOTA ベースラインを著しく上回り、非対称リンク予測およびネットワーク再構築の両タスクで優れた性能を発揮した。
• Diagram エッジは、W-L1 特徴構築手法を除き、Diagram ノードよりも低いばらつきで最良の性能を達成した。
• ノード分類において、Cora データセットで 50% の訓練データを使用した場合、Diagram は Micro-F1 82%、Macro-F1 80% を達成し、Node2Vec や DeepWalk などの大多数のベースラインを上回った。
• Citeseer データセットでは、Diagram は ANRL や DANE といった最高性能を示したベースラインと同等の性能を発揮し、VGAE や HOPE よりも高い F1 スコアを記録した。
• Diagram は、すべてのデータセットおよびタスクにおいて、方向性に配慮したベースラインである HOPE よりも一貫して優れた性能を示し、行列分解に比べて深くマルチオブジェクティブなアーキテクチャの優位性を実証した。
• リンク予測における本手法の優れた性能は、$\texttt{dot}(\mathbf{o_u}, \mathbf{i_v})$ 近接性測定を用いた非対称的推移性のモデル化能力に起因する。