[論文レビュー] ANAE: Learning Node Context Representation for Attributed Network Embedding

Keting Cen, Huawei Shen+4 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Graph Neural Networks参考文献 62被引用数 6

ひとこと要約

本稿では、各ノードの周辺属性付き局所部分グラフをモデル化することで、ノード表現を学習する新しい属性付きネットワークオートエンコーダー枠組みANAEを提案する。グラフ自己注意ネットワーク（GAT）を用いたエンコーダ-デコーダアーキテクチャにより、構造的および属性的情報の両方の文脈を捉え、多数の実世界データセットにおいてノード分類およびリンク予測の分野で最先端の性能を達成する。

ABSTRACT

Attributed network embedding aims to learn low-dimensional node representations from both network structure and node attributes. Existing methods can be categorized into two groups: (1) the first group learns two separated node representations from network structure and node attribute respectively and concatenates them together; (2) the other group obtains node representations by translating node attributes into network structure or vice versa. However, both groups have their drawbacks. The first group neglects the correlation between network structure and node attributes, while the second group assumes strong dependence between these two types of information. In this paper, we address attributed network embedding from a novel perspective, i.e., learning node context representation for each node via modeling its attributed local subgraph. To achieve this goal, we propose a novel attributed network auto-encoder framework, namely ANAE. For a target node, ANAE first aggregates the attribute information from its attributed local subgraph, obtaining its low-dimensional representation. Next, ANAE diffuses the representation of the target node to nodes in its local subgraph to reconstruct their attributes. Such an encoder-decoder framework allows the learned representations to better preserve the context information manifested in both network structure and node attributes, thus having high capacity to learn good node representations for attributed network. Extensive experimental results on real-world datasets demonstrate that the proposed framework outperforms the state-of-the-art approaches at the tasks of link prediction and node classification.

研究の動機と目的

• 構造と属性の間の相関を無視するか、強い依存関係を仮定する既存の属性付きネットワーク埋め込み手法の限界を是正すること。
• 各ノードの属性付き局所部分グラフをその文脈としてモデル化することで、属性付きネットワーク埋め込みに対する新たな視点を提示すること。
• 構造的および属性的情報をノード表現に統合的に保持する柔軟なオートエンコーダーフレームワークを開発すること。
• 文脈再構成による表現学習が、ノード分類やリンク予測などの下流タスクにおいて優れた性能を発揮することを実証すること。

提案手法

• ANAEは、ターゲットノードを中心とする属性付き局所部分グラフとして各ノードの文脈を定義する。
• グラフコンテキストエンコーダーは、グラフ自己注意ネットワーク（GAT）を用いて隣接ノードからの属性情報を集約し、低次元のノード表現を生成する。
• グラフコンテキストデコーダーは、ターゲットノードの表現をその隣接ノードに拡散させ、それらの元の属性を再構成可能にする。
• モデルの訓練には再構成損失を用い、学習された表現が局所的文脈を回復できることを保証する。
• エンコーダおよびデコーダにおける注目メカニズムにより、構造的および属性的近接性に基づいて隣接ノードに適応的な重みを付与できる。
• GATを構築ブロックとして用いることで、文脈に配慮したノード埋め込みのエンドツーエンド学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ノードの属性付き局所部分グラフをその文脈としてモデル化することで、属性付きネットワークにおけるノード表現学習が向上するか？
• RQ2 構造と属性埋め込みを連結するか、それらの間で変換を行う既存手法と比較して、提案されたANAEフレームワークはどのように差をつけるか？
• RQ3 注目メカニズムが文脈表現に必要な近隣ノードを効果的に捉える貢献度は何か？
• RQ4 オートエンコーダーの再構成目的が、構造的および属性的情報の両方からの文脈情報を効果的に保持するか？
• RQ5 隣接ノードの属性再構成を担うデコーダーの役割が、学習されたノード表現の質を向上させるか？

主な発見

• ANAEは、Cora、Citeseer、Wiki、PubMedの4つの実世界の属性付きネットワークにおいて、ノード分類およびリンク予測タスクで一貫して最先端の手法を上回る。
• 除去実験の結果、エッジベースの集約を用いるANAE-GCNはANAEより性能が劣ることから、注目に基づく近隣ノード重み付けがより関連性の高い文脈を捉えることで性能向上に寄与することが示された。
• デコーダーに全結合層を用いるANAE-MLPはANAEより性能が劣ることから、デコーダーにおけるグラフ自己注意が効果的な文脈再構成に不可欠であることが実証された。
• 隠れ次元が64に設定された場合に最適な性能を発揮し、ほとんどのデータセットでそれ以上の次元では性能が飽和またはわずかに低下することが確認された。
• t-SNE可視化により、DeepWalk、TADW、GAEと比較してANAEがより判別力があり、明確に分離された表現を学習していることが確認された。
• 属性付き局所部分グラフによるノード文脈のモデル化と再構成に基づく訓練が、より強固で情報豊富なノード埋め込みをもたらすことが妥当性を確認された。