[論文レビュー] SaC2Vec: Information Network Representation with Structure and Content

Sambaran Bandyopadhyay, Harsh Kara+2 more|arXiv (Cornell University)|Apr 27, 2018

Advanced Graph Neural Networks参考文献 2被引用数 4

ひとこと要約

SaC2Vec は、1つのレイヤーがトポロジーを符号化し、追加のレイヤーが異なるタイプのコンテンツ（例：テキスト、画像）を符号化するマルチレイヤー構造のグラフを構築することで、ネットワーク構造とノードコンテンツを統合的にモデル化する、新しい教師なしネットワーク表現学習手法である。ランダムウォークと言語モデル化を用いて低次元のノード埋め込みを生成し、複数の実世界データセットにおいてノード分類、クラスタリング、可視化のタスクで最先端の性能を達成しており、とくにノイズの多いコンテンツレイヤーに対して高い耐性を示す。

ABSTRACT

Network representation learning (also known as information network embedding) has been the central piece of research in social and information network analysis for the last couple of years. An information network can be viewed as a linked structure of a set of entities. A set of linked web pages and documents, a set of users in a social network are common examples of information network. Network embedding learns low dimensional representations of the nodes, which can further be used for downstream network mining applications such as community detection or node clustering. Information network representation techniques traditionally use only the link structure of the network. But in real world networks, nodes come with additional content such as textual descriptions or associated images. This content is semantically correlated with the network structure and hence using the content along with the topological structure of the network can facilitate the overall network representation. In this paper, we propose Sac2Vec, a network representation technique that exploits both the structure and content. We convert the network into a multi-layered graph and use random walk and language modeling technique to generate the embedding of the nodes. Our approach is simple and computationally fast, yet able to use the content as a complement to structure and vice-versa. We also generalize the approach for networks having multiple types of content in each node. Experimental evaluations on four real world publicly available datasets show the merit of our approach compared to state-of-the-art algorithms in the domain.

研究の動機と目的

• 従来のネットワーク埋め込み手法がトポロジー構造に依存する一方で、テキストや画像などの豊富なノードレベルのコンテンツを無視するという限界を是正すること。
• 構造的および意味的情報を統合することで、より優れたノード表現を得るための単純で効率的かつ教師なしの手法を開発すること。
• 各ノードのコンテンツを別々のレイヤーとしてモデル化するマルチレイヤー構造のグラフフレームワークを構築し、構造とコンテンツの共同学習を可能にすること。
• 多様なネットワークマイニングタスクにおける評価を通じて、ノイズや一貫性のないコンテンツに対して耐性を示すことを実証すること。

提案手法

• マルチレイヤー構造のグラフを構築：ノード間のエッジで符号化されるネットワークトポロジー用の1つのレイヤーと、テキストや画像などの異なるタイプのノードコンテンツ用の1つ以上の追加レイヤーを設ける。
• マルチレイヤー構造のグラフ上でランダムウォークを実行し、構造レイヤーからコンテンツレイヤー、またはコンテンツレイヤー同士の間で遷移可能にする。これにより、意味的およびトポロジカルな依存関係を捉える。
• ランダムウォークのシーケンスにおける隣接ノードおよびコンテンツトークンの予測を目的とする言語モデル化の目的関数（Word2Vec の skip-gram に類似）を用いて、ノード埋め込みを学習する。
• 各ノードに複数のコンテンツタイプがある場合にも対応できるよう、モデルを一般化。各コンテンツタイプをマルチレイヤー構造の別々のレイヤーとして扱う。
• 予測目的の負の対数尤度を最適化するため、確率的勾配降下法を用いてモデルをエンドツーエンドで訓練する。
• 下流タスク用に、構造レイヤーとコンテンツレイヤーの埋め込みを連結（Appended Embedding）することで統合する。

実験結果

リサーチクエスチョン

• RQ1 構造のみに依存する手法と比較して、ネットワーク構造とノードコンテンツを統合的にモデル化することで、ノード埋め込みの質が向上するか？
• RQ2 提案されたマルチレイヤー構造のグラフフレームワークは、異種のコンテンツタイプ（例：テキスト、画像）とトポロジカル構造を効果的に統合できるか？
• RQ3 コンテンツレイヤーにノイズや一貫性のない情報が含まれる場合、他のマルチモodal手法と比較して SaC2Vec は高い性能を維持できるか？
• RQ4 ノード分類、クラスタリング、可視化を含む多様なネットワークマイニングタスクにおいて、SaC2Vec は DeepWalk や node2vec、TADW、GraphSAGE といった最先端のアルゴリズムと比較して、どのように性能を発揮するか？

主な発見

• SaC2Vec は、Pubmed や Flickr、Cora を含む4つの実世界データセットにおいて、TADW や AANE を含むすべてのベースライン手法を上回る性能を示し、ノード分類およびクラスタリングタスクで優れた結果を達成した。
• Pubmed データセットでは、構造レイヤーのみに node2vec を適用した場合と同等の性能を達成しており、ノイズの多いまたは一貫性のないコンテンツに対して高い耐性を示していることが示された。
• 構造とコンテンツの埋め込みを連結する Appended Embedding のバリエーションが、Pubmed において最も優れた性能を発揮した。これは両モodalの相補的な価値を裏付けている。
• ISOMAP を用いたネットワーク可視化において、SaC2Vec はノードを明確に異なるコミュニティに分離できたが、TADW や AANE は構造とコンテンツの両方を使用してもクラスの区別がつかなかった。
• SaC2Vec は、TADW や AANE といったコンテンツベースのモデルが性能を発揮しないデータセットに対しても、一貫して高い性能を示しており、データの不一致に対して柔軟で耐性があることを示している。
• 計算効率が高く、教師なしのアプローチであるため、ラベル付きデータや高コストな計算リソースを必要とせず、大規模なネットワークに適している。