[論文レビュー] Distributed Representations of Signed Networks

Mohammad Raihanul Islam, B. Aditya Prakash+1 more|arXiv (Cornell University)|Feb 22, 2017

Advanced Graph Neural Networks参考文献 35被引用数 12

ひとこと要約

本稿では、構造的バランス理論と標的付きノードサンプリング戦略を活用して学習された表現におけるエッジ極性を保持する、スケーラブルな符号付きネットワーク向けのノード埋め込み手法sign2vecを提案する。エッジおよびノードラベル予測タスクにおいて最先端手法を上回り、最大100万ノードを有する大規模な符号付きネットワークにおいて優れた性能とスケーラビリティを示している。

ABSTRACT

Recent successes in word embedding and document embedding have motivated researchers to explore similar representations for networks and to use such representations for tasks such as edge prediction, node label prediction, and community detection. Such network embedding methods are largely focused on finding distributed representations for unsigned networks and are unable to discover embeddings that respect polarities inherent in edges. We propose SIGNet, a fast scalable embedding method suitable for signed networks. Our proposed objective function aims to carefully model the social structure implicit in signed networks by reinforcing the principles of social balance theory. Our method builds upon the traditional word2vec family of embedding approaches and adds a new targeted node sampling strategy to maintain structural balance in higher-order neighborhoods. We demonstrate the superiority of SIGNet over state-of-the-art methods proposed for both signed and unsigned networks on several real world datasets from different domains. In particular, SIGNet offers an approach to generate a richer vocabulary of features of signed networks to support representation and reasoning.

研究の動機と目的

• 符号付きネットワークにおけるエッジ極性を保持できない既存のネットワーク埋め込み手法の限界に対処すること。
• 有向・無向の両方の符号付きネットワーク（重み付き・非重み付きエッジを含む）に適応可能なスケーラブルで汎用的な埋め込みフレームワークを開発すること。
• 局所的な2ホップ近傍を超えた高階の構造的バランスを組み込むことで、表現学習を向上させること。
• 標準的なネガティブサンプリングと比較して、バランスの取れたネットワーク構造の学習を促進する標的付きノードサンプリング戦略を設計すること。
• sign2vecの有効性を、エッジラベル予測やノードラベル予測などの下流タスクで示すこと。

提案手法

• sign2vecは、符号に敏感な目的関数を用いてノード関係をモデル化することで、word2vecスキップグラムフレームワークを符号付きネットワークに拡張する。
• 構造的バランスを維持するために、高階の近傍におけるバランスの取れた三角形構成を保つノードを優先的にサンプリングする標的付きノードサンプリング戦略を導入する。
• 構造的バランス理論に基づいた目的関数を最適化し、バランスの取れた三角形に属するノードがベクトル空間内で近接するように埋め込みを促進する。
• 非同期的確率的勾配降下法を用いることで、大規模ネットワークにおける効率的かつスケーラブルな学習を実現する。
• アルゴリズムは有向・無向ネットワークをサポートし、符号と大きさを別々に符号化することで、バイナリおよび重み付きエッジを処理できる。
• 標的付きサンプリング戦略は、最適化の安定性と表現品質の向上を図るため、動的にノードキャッシュを維持する。

実験結果

リサーチクエスチョン

• RQ1 構造的バランスを維持しつつ、符号付きネットワークにおけるエッジ極性を保持するスケーラブルなノード埋め込み手法を設計できるか？
• RQ2 標準的なネガティブサンプリングと比較して、標的付きノードサンプリングは符号付きネットワークのバランスの取れた表現学習においてどのように優れているか？
• RQ3 sign2vecは、最先端手法と比較して、エッジおよびノードラベル予測タスクでどの程度性能を向上させるか？
• RQ4 sign2vecは、数百万ノードを有する大規模な符号付きネットワークにどの程度スケーリングできるか？
• RQ5 sign2vecは、局所的な2ホップ近傍を超えた高階の構造的バランスを効果的にモデル化できるか？

主な発見

• ADJNetデータセットでは、次に優れた手法であるsign2vec-NSと比較して、macro F1スコアで26.1%の相対的向上を達成した。
• SCOTUSデータセットでは、sign2vec-NSと比較してmacro F1が45.1%向上し、標的付きサンプリングの有効性が示された。
• DBLPデータセットでは、macro F1スコアで44.9%の相対的向上を達成し、ドメインを越えた優れた一般化性能を示した。
• 本手法は効率的にスケーリングでき、標準デスクトップ上で100万ノードのErdos-Renyiネットワークを3時間未満で学習可能であり、サンプリング時間は無視できるほど短い（<15分）。
• 5スレッドで実行した場合、3.5倍の高速化が達成され、強力な並列処理の可能性と実用的なスケーラビリティを示した。
• 標的付きサンプリング戦略により、出次数の20%が削除された場合でも、最適化プロセスにおける関連ノードのカバー範囲が良好なため、性能を維持できた。