[論文レビュー] COSINE: Compressive Network Embedding on Large-scale Information Networks

Zhengyan Zhang, Cheng Yang+5 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Graph Neural Networks被引用数 6

ひとこと要約

COSINEは、グラフ分割を用いてノードをグループ化することで、パラメータ共有を実現する圧縮ネットワーク埋め込みフレームワークを提案する。構造的類似性を活用することで、メモリ使用量を削減し、トレーニングを高速化し、ノード分類とリンク予測の性能を最大25%向上させる。また、ベースラインと同等のメモリ制約下でも、トレーニング時間を30%〜70%短縮する。

ABSTRACT

There is recently a surge in approaches that learn low-dimensional embeddings of nodes in networks. As there are many large-scale real-world networks, it's inefficient for existing approaches to store amounts of parameters in memory and update them edge after edge. With the knowledge that nodes having similar neighborhood will be close to each other in embedding space, we propose COSINE (COmpresSIve NE) algorithm which reduces the memory footprint and accelerates the training process by parameters sharing among similar nodes. COSINE applies graph partitioning algorithms to networks and builds parameter sharing dependency of nodes based on the result of partitioning. With parameters sharing among similar nodes, COSINE injects prior knowledge about higher structural information into training process which makes network embedding more efficient and effective. COSINE can be applied to any embedding lookup method and learn high-quality embeddings with limited memory and shorter training time. We conduct experiments of multi-label classification and link prediction, where baselines and our model have the same memory usage. Experimental results show that COSINE gives baselines up to 23% increase on classification and up to 25% increase on link prediction. Moreover, time of all representation learning methods using COSINE decreases from 30% to 70%.

研究の動機と目的

• 高メモリ使用量と遅いトレーニングによる大規模ネットワーク埋め込みのスケーラビリティ課題に対処する。
• スパースネットワークにおける低次数ノードのコールドスタート問題を克服する。
• 埋め込み品質を損なわずにトレーニング時間とメモリフットプリントを削減する。
• 既存のネットワーク埋め込みアルゴリズムにパラメータ共有を統合する包括的なフレームワークを導入する。
• 構造的グルーピングにより、厳密なメモリ制約下でも高次元埋め込みを実現する。

提案手法

• ノードの近隣構造が類似するグループに分割するため、グラフ分割（例：mt-metis）を適用する。
• ランダムウォークを用いて、ノード間の構造的類似性を特定するグループマッピング関数を構築する。
• 同じグループに属するノード間で埋め込みパラメータを共有し、ユニークなパラメータ数を削減する。
• 統一されたフレームワークを介して、既存の埋め込みアルゴリズム（例：DeepWalk、LINE、node2vec）にパラメータ共有機構を統合する。
• 最大100万ノードの大きなネットワークにスケーラブルに対応するため、マルチスレッドによるグループマッピングプロセスを採用する。
• パフォーマンスと効率性のバランスを取るために、ハイパーパrameter（1ノードあたりのウォーク数γ、ウォーク長k、グループサイズn）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 構造的に類似したノード間でのパラメータ共有は、大規模ネットワーク埋め込みの効率性と品質を向上させ得るか？
• RQ2 グラフ分割に基づくグルーピングは、ネットワーク埋め込みモデルの一般化性能とトレーニング速度にどのように影響するか？
• RQ3 パラメータ共有は、大規模ネットワークにおける低次数ノードのコールドスタート問題をどの程度軽減できるか？
• RQ4 効果的なパラメータ共有のためのウォーク長、ウォーク数、グループサイズの最適な設定は何か？
• RQ5 COSINEフレームワークは、複数の既存ネットワーク埋め込みアルゴリズムに一貫したパフォーマンス向上をもたらすか？

主な発見

• COSINEは、同じメモリ制約下で、ベースラインモデルと比較してマルチラベル分類性能を最大23%向上させる。
• COSINEを用いることで、同じメモリ使用量を維持しながらリンク予測の正確性が最大25%向上する。
• COSINEを用いることで、評価されたすべての埋め込み手法のトレーニング時間が30%〜70%短縮される。
• パフォーマンスと効率性のバランスを最適化するため、1ノードあたりのウォーク数γ = 100が最適であり、γ = 60を超えるとほとんど利益が得られない。
• 冗長性とノイズを最小限に抑えるために、ウォーク長k = 5とグループサイズn = 5の組み合わせがパフォーマンスを最大化する。
• 8スレッドで100万ノードのネットワークに対するグループマッピングをわずか55秒で完了し、優れたスケーラビリティを示している。