[論文レビュー] Non-linear Attributed Graph Clustering by Symmetric NMF with PU Learning

Seiji Maekawa, Koh Takeuchi+1 more|arXiv (Cornell University)|Sep 21, 2018

Face and Expression Recognition参考文献 26被引用数 8

ひとこと要約

本稿では、非線形属性付きグラフクラスタリング手法NAGCを提案する。この手法は、対称的非負行列分解（NMF）と正例・未ラベル例（PU）学習を組み合わせ、グラフ構造と頂点属性の間の複雑な関係を捉える。構造と属性のクラスタ割り当ての間で非線形写像を学習し、部分的に観測された正例エッジを扱うためにPU学習を活用することで、優れたクラスタリング品質と効率性を達成。計算複雑度は$O((n^2 + mn)kt)$であり、実世界のデータセットにおいて既存手法を上回る性能を発揮する。

ABSTRACT

We consider the clustering problem of attributed graphs. Our challenge is how we can design an effective and efficient clustering method that precisely captures the hidden relationship between the topology and the attributes in real-world graphs. We propose Non-linear Attributed Graph Clustering by Symmetric Non-negative Matrix Factorization with Positive Unlabeled Learning. The features of our method are three holds. 1) it learns a non-linear projection function between the different cluster assignments of the topology and the attributes of graphs so as to capture the complicated relationship between the topology and the attributes in real-world graphs, 2) it leverages the positive unlabeled learning to take the effect of partially observed positive edges into the cluster assignment, and 3) it achieves efficient computational complexity, $O((n^2+mn)kt)$, where $n$ is the vertex size, $m$ is the attribute size, $k$ is the number of clusters, and $t$ is the number of iterations for learning the cluster assignment. We conducted experiments extensively for various clustering methods with various real datasets to validate that our method outperforms the former clustering methods regarding the clustering quality.

研究の動機と目的

• 構造と属性が異なる複雑なクラスタ構造を示す属性付きグラフのクラスタリングという課題に対処すること。
• 構造的クラスタ割り当てと属性ベースクラスタ割り当ての間の非線形関係をモデル化することで、クラスタリング品質を向上させること。
• 観測されていないエッジが負例であると仮定しないオープンワールド仮定を満たすために、PU学習を統合し、欠落した正例エッジに対してより頑健な性能を実現すること。
• 属性次元数に比例して二乗のコストがかかるのを回避することで、高次元属性に対してもスケーラブルな効率的なアルゴリズムを設計すること。
• 完全な教師あり学習やラベル付き負例エッジを必要とせずに、高い性能を達成すること。

提案手法

• 本手法は、グラフ構造と頂点属性の両方から同時にクラスタ割り当てを学ぶために、対称的非負行列分解（SNMF）を用いる。
• 構造の潜在空間と属性の潜在空間の間で、非線形写像関数を学習することで、複雑な非線形関係をモデル化する。
• オープンワールド仮定をモデル化するために、正例・未ラベル例（PU）学習を統合し、観測されないエッジを負例と仮定しないことで、欠落した正例エッジに対してより頑健な性能を実現する。
• 目的関数は、構造と属性のクラスタリングにSNMFを適用するとともに、未観測エッジを負例として誤分類するのを防ぐPU学習成分を組み合わせる。
• 計算効率を維持するために、閉形式での更新を用いた交互最適化を採用し、$O((n^2 + mn)kt)$の計算複雑度を達成する。
• 属性学習における高価な$O(m^2)$の演算を回避することで、高次元属性に対してもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 構造のクラスタ割り当てと属性のクラスタ割り当ての間に非線形写像を導入することで、属性付きグラフにおけるクラスタリング精度が向上するか？
• RQ2 オープンワールド仮定下で、部分的に観測された正例エッジを扱うためにPU学習がどの程度効果的に機能するか？
• RQ3 特に高次元属性を伴う場合に、複雑な構造-属性関係を捉えながらも、高い効率性を維持できるか？
• RQ4 既存の属性付きグラフクラスタリング手法（例：JWNMF や BAGC）と比較して、本手法の性能とスケーラビリティはどの程度か？
• RQ5 実世界のデータセット（属性とエッジのスパarsityが異なる）において、ハイパーパrameterの選定に対して本手法は頑健か？

主な発見

• 提案手法NAGCは、WebKB、Citeseer、Cora、polblogを含むすべての評価データセットにおいて、既存手法（JWNMF や BAGC）を上回るクラスタリング品質を達成した。
• WebKBでは2.62秒、Citeseerでは54.32秒の実行時間を記録し、高次元属性データセットにおいてもJWNMF（8.80秒、60.71秒）を顕著に上回った。
• アブレーションスタディの結果、PU学習を除外した場合（Prop. w/o PU）の実行時間はWebKBで0.81秒にまで短縮され、PU学習が追加の構造更新に起因して計算コストを増加させることを確認した。
• 属性数が多くても高いクラスタリング品質を維持でき、高次元データに対するスケーラビリティと頑健性を示した。
• ハイパーパrameterの設定にかかわらず安定した性能を発揮し、ベースライン手法を一貫して上回った。これは、パrameterチューニングに対して低い感度であることを示している。
• PU学習の統合により、未観測エッジを負例ではなく未知とモデル化することで、実世界のグラフ（エッジ情報が不完全）においてより正確なクラスタ割り当てが可能になった。