[論文レビュー] Multilayer Graph Signal Clustering.

Mireille El Gheche, Pascal Frossard|arXiv (Cornell University)|Nov 2, 2018

Complex Network Analysis Techniques参考文献 19被引用数 2

ひとこと要約

本稿では、幾何平均を用いてラプラシアン行列を統合し、特徴量と複数のネットワーク層を統合的に活用する2段階手法を提案する。この手法は、統合されたグラフ構造に整合する特徴量埋め込みを学習するニューラルネットワークを訓練することで、ステートオブ・ザ・アートの性能を達成する。勾配降下法を用いて、統合されたラプラシアン行列の主要固有ベクトルと整合する表現を学習することで、クラスタリングに適した表現を獲得する。

ABSTRACT

Network data appears in very diverse applications, like biological, social, or sensor networks. Clustering of network nodes into categories or communities has thus become a very common task in machine learning and data mining. Network data comes with some information about the network edges. In some cases, this network information can even be given with multiple views or multiple layers, each one representing a different type of relationship between the network nodes. Increasingly often, network nodes also carry a feature vector. We propose in this paper to extend the node clustering problem, that commonly considers only the network information, to a problem where both the network information and the node features are considered together for learning a clustering-friendly representation of the feature space. Specifically, we design a generic two-step algorithm for multilayer network data clustering. The first step aggregates the different layers of network information into a graph representation given by the geometric mean of the network Laplacian matrices. The second step uses a neural net to learn a feature embedding that is consistent with the structure given by the network layers. We propose a novel algorithm for efficiently training the neural net via stochastic gradient descent, which encourages the neural net outputs to span the leading eigenvectors of the aggregated Laplacian matrix, in order to capture the pairwise interactions on the network, and provide a clustering-friendly representation of the feature space. We demonstrate with an extensive set of experiments on synthetic and real datasets that our method leads to a significant improvement w.r.t. state-of-the-art multilayer graph clustering algorithms, as it judiciously combines nodes features and network information in the node embedding algorithms.

研究の動機と目的

• 既存のクラスタリング手法がネットワーク構造や特徴量を独立に扱うという限界を解消すること。
• 多層ネットワーク情報とノード特徴ベクトルを統合的にモデル化する包括的フレームワークの構築。
• 複数のネットワーク層にわたる構造的関係を尊重する低次元のクラスタリングに適したノード特徴表現の学習。
• 統合されたネットワーク構造のスペクトル特性と整合するニューラルネットワーク埋め込みのための効率的な学習手順の設計。

提案手法

• 各ネットワーク層のラプラシアン行列の幾何平均を計算することで、複数のネットワーク層を統合し、統一されたグラフ表現を構築する。
• 統合されたラプラシアン行列のスペクトル構造と整合する特徴量埋め込みを学習するためのニューラルネットワークを用いる。
• 統合されたラプラシアン行列の主要固有ベクトルと一致するように、出力を促進する勾配降下法を用いてニューラルネットワークを学習する。
• 統合されたラプラシアン行列の固有ベクトルを活用して、複数の層にわたるノード間の対応関係とコミュニティ構造を保持する。
• ノード特徴量とネットワークトポロジーをエンドツーエンド微分可能フレームワークで統合し、統合的表現学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴量と多層ネットワーク構造を効果的に統合することで、クラスタリング性能をどのように向上させられるか？
• RQ2 複数のネットワーク層を1つの代表的グラフ構造に統合する最適な方法は何か？
• RQ3 ニューラルネットワークをどのように学習させれば、多層ネットワークのスペクトル特性を反映した埋め込みを生成できるか？
• RQ4 特徴量とネットワーク層を統合的にモデル化することは、単一モダリティに依存する手法をどの程度上回るか？

主な発見

• 提案手法は、合成データおよび実世界のデータセットにおいて、ステートオブ・ザ・アートの多層グラフクラスタリングアルゴリズムを著しく上回る性能を達成した。
• ラプラシアン行列の幾何平均による統合は、単純な平均化や連結処理よりも、より頑健で代表的なグラフ構造を生成した。
• 統合されたラプラシアン行列の主要固有ベクトルと整合するように学習されたニューラルネットワーク埋め込みは、より一貫性があり、識別性の高いクラスタ割り当てをもたらした。
• 特徴量と多層ネットワーク構造の統合的モデリングにより、下流のクラスタリング精度を向上させるクラスタリングに適した表現が得られた。