[論文レビュー] Vertex-Context Sampling for Weighted Network Embedding

Chih‐Ming Chen, Yi‐Hsuan Yang+2 more|arXiv (Cornell University)|Nov 1, 2017

Advanced Graph Neural Networks参考文献 16被引用数 4

ひとこと要約

本稿では、均一なサンプリングに代えて重み付きで文脈に配慮したサンプリングを採用することで、エッジ重みを保持し、表現品質を向上させる重み付き頂点-文脈サンプリング（VCS）フレームワークを提案する。この手法は、定数時間のサンプリングを可能にする逐次的頂点-文脈グラフ構造を用いることで、効率的で低メモリな学習を実現し、類似度検索、分類、推薦タスクにおいて均一サンプリングおよび最先端手法を上回る性能を発揮する。

ABSTRACT

In recent years, network embedding methods have garnered increasing attention because of their effectiveness in various information retrieval tasks. The goal is to learn low-dimensional representations of vertexes in an information network and simultaneously capture and preserve the network structure. Critical to the performance of a network embedding method is how the edges/vertexes of the network is sampled for the learning process. Many existing methods adopt a uniform sampling method to reduce learning complexity, but when the network is non-uniform (i.e. a weighted network) such uniform sampling incurs information loss. The goal of this paper is to present a generalized vertex sampling framework that works seamlessly with most existing network embedding methods to support weighted instead of uniform vertex/edge sampling. For efficiency, we propose a delicate sequential vertex-to-context graph data structure, such that sampling a training pair for learning takes only constant time. For scalability and memory efficiency, we design the graph data structure in a way that keeps space consumption low without requiring additional space. In addition to implementing existing network embedding methods, the proposed framework can be used to implement extensions that feature high-order proximity modeling and weighted relation modeling. Experiments conducted on three datasets, including a commercial large-scale one, verify the effectiveness and efficiency of the proposed weighted network embedding methods on a variety of tasks, including word similarity search, multi-label classification, and item recommendation.

研究の動機と目的

• 重み付きネットワークにおける均一サンプリングの限界を解決する。これはエッジ重み情報を無視し、表現品質を低下させるためである。
• 既存のネットワーク埋め込み手法と互換性を持つスケーラブルでメモリ効率の良いサンプリングフレームワークを開発すること。
• 統一されたサンプリングフレームワーク内での高次近接性および重み付き関係のモデリングを可能にすること。
• 事前計算や大規模なデータ構造を必要とせず、定数時間のサンプリングと低メモリ使用を両立させること。
• 複数の下流タスクにおいて、実世界および大規模データセット上で優れた性能を示すこと。

提案手法

• O(1)のサンプリングを可能にするために、接続関係をコンactな逐次的フォーマットで格納する逐次的頂点-文脈グラフデータ構造を導入する。
• エッジ重みに基づいて強いエッジを優先する重み付き頂点-文脈サンプリング関数を設計し、均一サンプリングに置き換える。
• 頂点の特徴に基づいてネットワークをサブネットワークに分解することで、効率的で局所的なサンプリングを可能にする。
• 主な最適化手順を変更せずに、既存のネットワーク埋め込みモデル（例：LINE、DeepWalk、node2vec）とVCSフレームワークを統合する。
• サンプリングフレームワークの柔軟性を活用して、高次近接性および重み付き関係のモデリングの拡張を可能にする。
• 事前計算のないオンザフライでのサンプリングと学習を可能にし、ランダムウォークや大規模な中間データ構造の事前計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 重み付きネットワークにおいて、均一サンプリングと比較して重み付きサンプリング戦略がネットワーク埋め込みの性能を向上させることができるか？
• RQ2 定数時間のペアサンプリングを実現しつつ、低メモリ使用を維持できるサンプリングフレームワークを設計できるか？
• RQ3 提案されたフレームワークは、ネットワーク埋め込みにおける高次近接性および重み付き関係の有効なモデリングを可能にするか？
• RQ4 大規模ネットワークにおいて、従来手法と比較してVCSベースの手法のメモリ使用量および実行時間のスケーリング特性はいかがなっているか？
• RQ5 推薦や類似度検索などの実世界タスクにおいて、重み付きサンプリングが性能をどの程度向上させるか？

主な発見

• 提案されたVCSベースのネットワーク埋め込み手法は、KKBOXオンライン推薦タスクで14.5%のmAPを達成し、DeepWalk（6.8%）および均一VCS-HPE（8.2%）を著しく上回った。
• Movielens-20Mデータセットでは、非均一VCS-HPE手法が映画-映画推薦においてDeepWalkを上回った。特に、まれだが情報価値の高いアイテムを考慮した場合に顕著であった。
• VCSベースのアプローチのメモリ使用量は、LINEおよびDeepWalk（単一ウォーク時間）と同等であり、node2vecのエッジ-エッジグラフ構造の1/10未満であった。
• マルチスレーディングを用いた場合、オリジナルのLINEアルゴリズムよりも2倍の高速化を達成した。これは、LINEがスケーラビリティをネイティブに最適化しているにもかかわらずである。
• 均一サンプリングと非均一VCS-HPEの間の性能差は、特にレーティングに基づく重みを介してユーザーの好みを捉える重み付きサンプリングの有効性を確認した。
• 計算コストやメモリオーバーヘッドを増加させることなく、高次近接性および重み付き関係のモデリングを成功裏に実現した。