[論文レビュー] FSCNMF: Fusing Structure and Content via Non-negative Matrix Factorization for Embedding Information Networks

Sambaran Bandyopadhyay, Harsh Kara+2 more|arXiv (Cornell University)|Apr 15, 2018

Advanced Graph Neural Networks参考文献 34被引用数 13

ひとこと要約

本稿では、相互正則化を用いて意味的整合性を向上させることで、ネットワーク構造とノードコンテンツを統合的に統合し、低次元ノード埋め込みを同時に学習する非負値行列分解（NMF）フレームワーク、FSCNMFを提案する。この手法は、最先端のベースラインと比較して、現実世界のネットワークにおけるノードクラスタリング、可視化、マルチクラス分類の性能を顕著に向上させる。

ABSTRACT

Analysis and visualization of an information network can be facilitated better using an appropriate embedding of the network. Network embedding learns a compact low-dimensional vector representation for each node of the network, and uses this lower dimensional representation for different network analysis tasks. Only the structure of the network is considered by a majority of the current embedding algorithms. However, some content is associated with each node, in most of the practical applications, which can help to understand the underlying semantics of the network. It is not straightforward to integrate the content of each node in the current state-of-the-art network embedding methods. In this paper, we propose a nonnegative matrix factorization based optimization framework, namely FSCNMF which considers both the network structure and the content of the nodes while learning a lower dimensional representation of each node in the network. Our approach systematically regularizes structure based on content and vice versa to exploit the consistency between the structure and content to the best possible extent. We further extend the basic FSCNMF to an advanced method, namely FSCNMF++ to capture the higher order proximities in the network. We conduct experiments on real world information networks for different types of machine learning applications such as node clustering, visualization, and multi-class classification. The results show that our method can represent the network significantly better than the state-of-the-art algorithms and improve the performance across all the applications that we consider.

研究の動機と目的

• ノードコンテンツを無視する既存のネットワーク埋め込み手法の限界に対処する。ノードコンテンツには価値ある意味的情報が含まれているにもかかわらずである。
• 構造とコンテンツの両方を体系的に正則化することで、その一貫性を活用する統一的かつ教師なしのフレームワークを構築すること。
• 低次元埋め込み空間で構造とコンテンツを同時に最適化することで、ノード表現の質を向上させること。
• 高次近接性を捉え、複数のコンテンツタイプ（例：テキスト、画像、動画）をサポートするようにフレームワークを拡張すること。

提案手法

• FSCNMFは、非負値行列分解（NMF）を用い、ネットワーク構造（B₁）とノードコンテンツ（U）の両方の正則化された埋め込みを学習する。
• 目的関数は、構造とコンテンツの両方の再構成誤差を最小化するとともに、正則化項によってB₁とUの類似性を強制する。
• 最終的な埋め込みは、正則化された構造埋め込みとコンテンツ埋め込みの凸結合により形成される：γ×B₁ + (1−γ)×U、ここでγはトレードオフを制御する。
• FSCNMF++は、最適化に高次近接性行列を組み込むことで、高次近接性を捉えるように拡張されている。
• コンテンツ行列Uを多様な特徴に一般化することで、異種コンテンツタイプをサポートする。
• 計算効率を確保するため、乗法的更新アルゴリズムを用いて高速な更新ルールが導出されている。

実験結果

リサーチクエスチョン

• RQ1 NMFを用いて構造とノードコンテンツを同時に最適化することで、構造のみを考慮する手法よりも優れたノード埋め込みが得られるか？
• RQ2 構造とコンテンツの間の相互正則化は、ノード表現の判別力にどのように寄与するか？
• RQ3 異なる現実世界のネットワークにおいて、構造的およびコンテンツ的情報の最適なバランスは何か？
• RQ4 クラスタリング、分類、可視化などの多様なタスクにおいて、このフレームワークの性能はいかがなものか？
• RQ5 本手法は、テキスト、画像、動画などのマルチモーダルノードコンテンツを持つネットワークにも一般化可能か？

主な発見

• FSCNMFは、テストされたすべてのデータセットで最先端の手法を上回るノードクラスタリング性能を示し、Citeseer、Wikipedia、Pubmed-Diabetesで顕著な精度向上を達成した。
• CiteseerおよびWikipediaデータセットでは、コンテンツが構造よりも情報量が多く、コンテンツの重みをより高く設定した場合に最適な性能が得られた。
• MSAデータセットでは、構造情報がより有用であり、埋め込み統合において構造を優先した場合に性能が向上した。
• FSCNMF++は高次近接性を効果的に捉えており、コミュニティ検出およびノード分類タスクでの性能向上をもたらした。
• 構造とコンテンツの不整合やノイズに対しても、FSCNMFはTADWよりも優れた性能を示し、ロバスト性を示した。
• FSCNMF埋め込み上でのスペクトルクラスタリングは、他の埋め込みよりも高速に実行された。これは、学習済み表現が元のコミュニティ構造をよりよく反映していることを示唆している。