[論文レビュー] Preserving Local and Global Information for Network Embedding

Yao Ma, Suhang Wang+3 more|arXiv (Cornell University)|Oct 19, 2017

Advanced Graph Neural Networks参考文献 20被引用数 4

ひとこと要約

本稿では、局所的な構造的情報とグローバルなノードステータス（例：PageRank）を統合的にモデル化することで表現学習を向上させる、新しいネットワーク埋め込みフレームワークLOGを提案する。学習可能な重み係数λを介して局所的およびグローバルな信号を統合することで、リンク予測において最先端の手法を常に上回り、グローバル情報が局所構造を補完し、表現品質を向上させることを示している。

ABSTRACT

Networks such as social networks, airplane networks, and citation networks are ubiquitous. The adjacency matrix is often adopted to represent a network, which is usually high dimensional and sparse. However, to apply advanced machine learning algorithms to network data, low-dimensional and continuous representations are desired. To achieve this goal, many network embedding methods have been proposed recently. The majority of existing methods facilitate the local information i.e. local connections between nodes, to learn the representations, while completely neglecting global information (or node status), which has been proven to boost numerous network mining tasks such as link prediction and social recommendation. Hence, it also has potential to advance network embedding. In this paper, we study the problem of preserving local and global information for network embedding. In particular, we introduce an approach to capture global information and propose a network embedding framework LOG, which can coherently model {\bf LO}cal and {\bf G}lobal information. Experimental results demonstrate the ability to preserve global information of the proposed framework. Further experiments are conducted to demonstrate the effectiveness of learned representations of the proposed framework.

研究の動機と目的

• 既存のネットワーク埋め込み手法が局所的な接続性にのみ注目し、グローバルなノードステータスを無視するという限界を解決すること。
• ノードの中心性や影響力といったネットワーク内のグローバル情報を数学的に捉える原理的かつ明確な手法を開発すること。
• 局所的およびグローバル情報を一貫して統合する統一されたフレームワークを設計し、より優れたノード表現学習を実現すること。
• 局所的およびグローバル信号の統合が、リンク予測などの下流のネットワーク解析タスクの性能向上に寄与することを実証すること。

提案手法

• ノードのグローバルな重要性を定量化するため、ノードステータススコア（特にPageRank）を用いてグローバル情報をモデル化する。
• ネットワーク埋め込みの目的関数を、局所的近接性（例：一次および二次近接性）とグローバルステータスの保持の重み付き組み合わせとして定式化する。
• 最適化目的関数におけるグローバル情報の寄与度を調整するためのハイパーパrameter λ を導入する。
• 予測された局所的およびグローバル近接性と実際の値との差を最小化するように、確率的勾配降下法を用いて埋め込みを最適化する。
• グローバルステータススコアを埋め込み空間に写像する線形変換を導入し、局所構造と併せて最適化を可能にする。
• エンドツーエンドで学習を行い、局所的およびグローバルなネットワーク特性を保持する低次元の連続的ノード表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 PageRankのようなグローバルなノードステータスを、ネットワーク埋め込みに効果的にモデル化・統合できるか。
• RQ2 局所的およびグローバル情報の統合が、学習されたノード表現の質にどのように影響を与えるか。
• RQ3 ネットワーク表現学習において、局所的およびグローバル情報の最適なバランスは何か。
• RQ4 純粋に局所的な手法と比較して、グローバル情報を組み込むことで、リンク予測などの下流タスクの性能が向上するか。

主な発見

• LOG(0.3)（λ = 0.3）は、2つの実世界データセットにおいて、LINE や DeepWalk を含むすべてのベースラインを、リンク予測およびAUC指標で一貫して上回る。
• LOG(0)（局所情報のみを用いる）は、LINE と同等の性能を示し、モデルの局所学習能力が正当化されていることを裏付けている。
• LOGの性能はλの増加に伴い向上し、λ ≈ 0.3 でピークに達し、以降は増加が鈍化する。これは、この設定で十分なグローバル情報が捉えられていることを示している。
• 埋め込み次元が96を超えると、モデルの性能が安定するため、128次元が収束に十分であることが示唆されている。
• グローバル情報のみ（GINe）でもある程度の性能を示しており、局所構造に対する補完的信号としての価値が確認されている。
• グローバル情報の統合により、リンク予測の精度およびAUCに顕著かつ一貫した向上が見られ、局所的およびグローバル信号の相補性が実証された。