[論文レビュー] On Proximity and Structural Role-based Embeddings in Networks: Misconceptions, Techniques, and Applications

Ryan A. Rossi, Di Jin+4 more|arXiv (Cornell University)|Aug 22, 2019

Advanced Graph Neural Networks参考文献 129被引用数 10

ひとこと要約

本稿は、コミュニティベース（近接性駆動）とロールベース（構造的類似性駆動）のネットワーク埋め込みの根本的違いを明確にし、ランダムウォークや特徴拡散といったメカニズムがそれぞれのタイプをどのように生み出すかを形式化する。理論的に、これらのメカニズムがコミュニティまたはロールベースの表現を誘導することを証明し、特定の応用に適した埋め込み手法の特定・分析・開発を支援するフレームワークを提供する。

ABSTRACT

Structural roles define sets of structurally similar nodes that are more similar to nodes inside the set than outside, whereas communities define sets of nodes with more connections inside the set than outside. Roles based on structural similarity and communities based on proximity are fundamentally different but important complementary notions. Recently, the notion of structural roles has become increasingly important and has gained a lot of attention due to the proliferation of work on learning representations (node/edge embeddings) from graphs that preserve the notion of roles. Unfortunately, recent work has sometimes confused the notion of structural roles and communities (based on proximity) leading to misleading or incorrect claims about the capabilities of network embedding methods. As such, this paper seeks to clarify the misconceptions and key differences between structural roles and communities, and formalize the general mechanisms (e.g., random walks, feature diffusion) that give rise to community or role-based structural embeddings. We theoretically prove that embedding methods based on these mechanisms result in either community or role-based structural embeddings. These mechanisms are typically easy to identify and can help researchers quickly determine whether a method preserves community or role-based embeddings. Furthermore, they also serve as a basis for developing new and improved methods for community or role-based structural embeddings. Finally, we analyze and discuss applications and data characteristics where community or role-based embeddings are most appropriate.

研究の動機と目的

• 既存の文献でしばしば混同される、コミュニティベース（近接性駆動）とロールベース（構造的類似性駆動）のネットワーク埋め込みの根本的差を明確にすること。
• 代表的な埋め込み手法の背後にあるメカニズム（例：ランダムウォーク、特徴拡散）を形式化し、それがコミュニティまたはロールベースの表現をどのように生じさせるかを示すこと。
• 与えられた埋め込み手法がコミュニティまたはロールベースの構造的性質を保持するかどうかの理論的根拠を提供すること。
• コミュニティ構造とロール構造のどちらがより関連性があるかに応じて、特定の下流タスクに適した埋め込み手法の選択や設計を支援すること。
• コミュニティベースまたはロールベースの埋め込みが最も効果的となるデータの特性や応用シナリオを分析すること。

提案手法

• ノード集合としてのコミュニティを、内部連結性が高く外部連結性が低いものとして形式化し、ロールを同じ構造的パターン（例：グラフレット）を持つノードの集合として定義する。
• 近接性ベースの埋め込みを、ノードの近接性または距離を保持するもの、ロールベースの埋め込みを、共有の部分グラフパターンを通じて構造的類似性を保持するものとして定義する。
• 理論的に、ランダムウォーク（例：DeepWalk、node2vec）などのメカニズムが、近接性の保持によりコミュニティベースの埋め込みを生じることを証明する。
• 特徴拡散（例：DGI、GraphSAGE）などのメカニズムが、不変な部分グラフパターンを捉えることで構造的役割を捉え、ロールベースの埋め込みを生じることを示す。
• 既存の埋め込み手法を、その背後にあるメカニズムと得られる埋め込みタイプ（コミュニティ対ロールベース）に基づいて分類する一般的なフレームワークを提唱する。
• このフレームワークを用いて、コミュニティまたはロール中心のタスクに特化した新しい手法の設計を分析・支援する。

実験結果

リサーチクエスチョン

• RQ1 コミュニティベースとロールベースのネットワーク埋め込みの主な理論的差異は何か？ なぜ実際にはしばしば混同されるのか？
• RQ2 ランダムウォークや特徴拡散といった埋め込みメカニズムは、どのようにして自然にコミュニティベースまたはロールベースの構造的表現を生じさせるのか？
• RQ3 与えられた埋め込み手法が、その背後にあるメカニズムに基づいて、コミュニティまたはロール構造を保持するかどうかを形式的に証明する方法は何か？
• RQ4 どのようなデータの特性や応用シナリオにおいて、コミュニティベースまたはロールベースの埋め込みがより適しているのか？
• RQ5 提案されたフレームワークは、コミュニティまたはロール構造をよりよく保持する新しい埋め込み手法の開発をどのように支援できるか？

主な発見

• ランダムウォークに基づく手法（例：DeepWalk、node2vec）は、局所的な近接性とノード間距離を保持するため、本質的にコミュニティベースの埋め込みを生成する。
• 特徴拡散に基づく手法（例：DGI、GraphSAGE）は、ノード間で不変な構造的パターンを捉えることで、構造的類似性の保持を実現し、ロールベースの埋め込みを生成する。
• 理論的分析により、近接性に基づくメカニズム（例：ランダムウォーク）はコミュニティ埋め込みを、構造的不変性に基づくメカニズム（例：特徴伝搬）はロールベース埋め込みを生じることが確認された。
• ロールベース埋め込みから得られるハードクラスタ割り当ては、同じ構造的行動を示すノードのサンプリングに有効であり、アクティブラーニングやレコメンデーションシステムでの性能向上に寄与する。
• コミュニティベース埋め込みは、リンク予測やレコメンデーションなど、局所的接続性に依存するタスクに最も適しており、ロールベース埋め込みは、トランスファーラーニングやインフルエンス最大化において優れた性能を示す。
• このフレームワークにより、研究者が与えられた埋め込み手法がコミュニティ構造かロール構造を保持するかを素早く特定でき、特定の応用に適した手法選定や設計を支援する。