[論文レビュー] HONE: Higher-Order Network Embeddings

Ryan A. Rossi, Nesreen K. Ahmed+4 more|arXiv (Cornell University)|Jan 28, 2018

Advanced Graph Neural Networks参考文献 60被引用数 14

ひとこと要約

HONEは、ノードの近接性に依存しない構造的役割を捉えるために、ネットワークモチーフ（グラフレット／オルビット）を活用して高次ネットワーク埋め込みを学習する一般化されたフレームワークを提案する。モチーフに基づく行列とその累乗を構築することで、複雑な接続パターンをモデル化し、多様なネットワークで平均19%の相対的AUC向上を達成した。これは、近接性に依存するランダムウォークベースの手法が構造的類似性を捉えられていないのと対照的である。

ABSTRACT

This paper describes a general framework for learning Higher-Order Network Embeddings (HONE) from graph data based on network motifs. The HONE framework is highly expressive and flexible with many interchangeable components. The experimental results demonstrate the effectiveness of learning higher-order network representations. In all cases, HONE outperforms recent embedding methods that are unable to capture higher-order structures with a mean relative gain in AUC of $19\%$ (and up to $75\%$ gain) across a wide variety of networks and embedding methods.

研究の動機と目的

• ランダムウォークベースのノード埋め込み手法が、近接性とノードIDに依存するがゆえに高次構造的役割を捉えられていないという限界を解消すること。
• 部分グラフパターン（ネットワークモチーフ）を基盤として、高次ネットワーク表現学習の問題を形式化し、構造的類似性を定式化すること。
• モチーフ統計とモチーフベースの行列に基づく、柔軟で汎用的な埋め込み学習フレームワークを構築すること。
• 高次接続パターンをモデル化することで、リンク予測などの下流タスクにおける性能向上が達成されることを示すこと。

提案手法

• フレームワークは、集合 $\mathcal{H}$ に属する各ネットワークモチーフ $H_t$ に対して、モチーフカウントをエッジ重みとして使用して重み付きモチーフグラフ $\mathbf{W}_t$ を構築する。
• モチーフ遷移行列、モチーフラプラシアン、およびモチーフグラフの累乗といったモチーフベースの行列を用いて、高次接続パターンを符号化する。
• ノード埋め込みは、複数のモチーフベースの行列からの情報の集約によって学習され、空間的近接性にかかわらず構造的役割を捉える。
• フレームワークは相互に交換可能なモジュールをサポートしており、モチーフタイプと行列定式化の柔軟な組み合わせを可能にする。
• フレームワークは、kステップのモチーフパターンを分析することで、未観測エッジの重みを自然に推定でき、リンク予測を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ネットワークモチーフが捉えるような高次接続パターンを、効果的に構造的役割を反映するノード埋め込みの学習に活用できるか？
• RQ2 モチーフベースの行列による構造的類似性のモデル化は、近接性に基づくランダムウォーク手法と比較して、リンク予測性能においてどのように異なるか？
• RQ3 HONEフレームワークは、多様なネットワークタイプと応用分野にどの程度一般化可能か？
• RQ4 モチーフ統計とその累乗を組み込むことで、ノード埋め込みの表現力と性能にどのような影響を与えるか？

主な発見

• HONEは、評価されたすべてのネットワークと埋め込み手法において平均19%の相対的AUC向上を達成し、特定のケースでは最大75%の向上を記録した。
• フレームワークは、近接性バイアスにより構造的類似性を捉えられていないという欠点を持つ最先端のランダムウォークベースの手法を一貫して上回った。
• HONEで学習された埋め込みは、ノードが非連結成分にあり、グラフ上で離れている場合でも、類似した構造的役割を持つノードを効果的にグループ化できた。
• モチーフベースの行列の使用により、フレームワークは未観測のリンクに対するエッジ重みを暗黙的に推定でき、リンク予測性能が向上した。