[論文レビュー] Flexible Attributed Network Embedding

Enya Shen, Zhidong Cao+2 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Graph Neural Networks参考文献 30被引用数 5

ひとこと要約

FANEは、統一的ネットワーク表現とカスタム化されたランダムウォーク戦略を用いて、構造的および属性的情報を柔軟に統合する、新規でスケーラブルな属性付きネットワーク埋め込みフレームワークである。FANEは最先端の性能を達成し、Coraでは分類精度を5%以上、WebKBでは10%以上向上させ、構造保存型と属性保存型の学習の間で柔軟なトレードオフを可能にしている。

ABSTRACT

Network embedding aims to find a way to encode network by learning an embedding vector for each node in the network. The network often has property information which is highly informative with respect to the node's position and role in the network. Most network embedding methods fail to utilize this information during network representation learning. In this paper, we propose a novel framework, FANE, to integrate structure and property information in the network embedding process. In FANE, we design a network to unify heterogeneity of the two information sources, and define a new random walking strategy to leverage property information and make the two information compensate. FANE is conceptually simple and empirically powerful. It improves over the state-of-the-art methods on Cora dataset classification task by over 5%, more than 10% on WebKB dataset classification task. Experiments also show that the results improve more than the state-of-the-art methods as increasing training size. Moreover, qualitative visualization show that our framework is helpful in network property information exploration. In all, we present a new way for efficiently learning state-of-the-art task-independent representations in complex attributed networks. The source code and datasets of this paper can be obtained from https://github.com/GraphWorld/FANE.

研究の動機と目的

• 複雑なネットワークにおける構造的情報と属性情報を効果的に統合できない既存のネットワーク埋め込み手法の限界を解消すること。
• 構造保存型と属性保存型のネットワーク表現学習の間を滑らかに遷移できる、スケーラブルで柔軟なフレームワークの開発。
• 構造と属性の共同モデリングを通じて、属性関係の探索と特徴学習の強化。
• 現実世界の属性付きネットワークにおけるネットワーク表現の分析と最適化を視覚的に解釈可能な方法で提供すること。

提案手法

• FANEは属性をノードとして扱う統一ネットワークを構築し、構造と属性の両方の統合的表現学習を可能にする。
• 構造的および属性的情報を動的に統合してトレースを誘導する、新しいランダムウォーク戦略を導入し、構造的および属性的近接性のバランスを取る。
• スイープ・グラムに類似した目的関数を用いて、ウォークシーケンスからノード埋め込みを学習し、構造的役割と属性意味を両方保持する。
• 罰則パラメータCが構造保存と属性保存の間のトレードオフを制御し、柔軟な学習モードを可能にする。
• 属性空間への拡張をサポートし、属性関係の可視化と分析を可能にする。
• FANEはスケーラブルに設計されており、ノード数および属性数に対して線形時間計算量を有し、大規模ネットワークでも効率的である。

実験結果

リサーチクエスチョン

• RQ1 属性付きネットワークにおける構造的および属性的情報を、表現学習の段階で効果的かつ柔軟に統合する方法は何か？
• RQ2 属性をノードとして扱う統一ネットワーク表現は、既存手法と比較して埋め込み品質を向上させるか？
• RQ3 FANEは、構造保存型と属性保存型の学習をどの程度バランスさせられるか？また、そのバランスが性能に与える影響は？
• RQ4 FANEは、現実世界のネットワークにおける属性関係の意味のある可視化と探索を可能にするか？
• RQ5 FANEはネットワークサイズおよび属性数の増加に伴い、どのようにスケーリングするか？

主な発見

• FANEは、SOTA手法と比較してCoraデータセットで分類精度を5%以上、WebKBデータセットで10%以上向上させた。
• 訓練サイズが増加するにつれて性能向上が顕著に現れ、より優れた一般化性能とスケーラビリティを示している。
• 罰則パラメータCの値が変化しても性能が安定しており、埋め込み次元dの方が精度に強い影響を与えることが判明した。
• 計算時間はノード数およびノードあたりの属性数に対して線形に増加し、強力なスケーラビリティを確認した。
• 定性的な可視化により、属性の意味的なクラスタリング（例：BBC関連のハッシュタグやユーザー）が明確に現れ、本フレームワークが非自明な属性レベルのパターンを同定できることを示した。
• FANEは、属性保存型と構造保存型の学習の間で明示的かつ調整可能な制御を提供する最初の手法であり、表現プロセスにおける能動的介入を可能にした。