[論文レビュー] Beyond Redundancy: Information-aware Unsupervised Multiplex Graph Structure Learning

Zhixiang Shen, Shuo Wang+1 more|arXiv (Cornell University)|Sep 25, 2024

Advanced Graph Neural Networks被引用数 6

ひとこと要約

InfoMGF は情報意識を持つ複数グラフからの融合を学習し、各ビューを洗練させ、共有情報とビュー固有のタスク関連情報の両方を最大化することで、下流タスクにおける自己教師付き性能を高める。

ABSTRACT

Unsupervised Multiplex Graph Learning (UMGL) aims to learn node representations on various edge types without manual labeling. However, existing research overlooks a key factor: the reliability of the graph structure. Real-world data often exhibit a complex nature and contain abundant task-irrelevant noise, severely compromising UMGL's performance. Moreover, existing methods primarily rely on contrastive learning to maximize mutual information across different graphs, limiting them to multiplex graph redundant scenarios and failing to capture view-unique task-relevant information. In this paper, we focus on a more realistic and challenging task: to unsupervisedly learn a fused graph from multiple graphs that preserve sufficient task-relevant information while removing task-irrelevant noise. Specifically, our proposed Information-aware Unsupervised Multiplex Graph Fusion framework (InfoMGF) uses graph structure refinement to eliminate irrelevant noise and simultaneously maximizes view-shared and view-unique task-relevant information, thereby tackling the frontier of non-redundant multiplex graph. Theoretical analyses further guarantee the effectiveness of InfoMGF. Comprehensive experiments against various baselines on different downstream tasks demonstrate its superior performance and robustness. Surprisingly, our unsupervised method even beats the sophisticated supervised approaches. The source code and datasets are available at https://github.com/zxlearningdeep/InfoMGF.

研究の動機と目的

• 多重グラフでタスクに関連しないノイズが性能を低下させる場合に、信頼性の高いグラフ構造の学習を動機づける。
• 共有情報と固有情報の両方を保持しつつ、複数のグラフビューを融合する自己教師付きフレームワークを開発する。
• グラフ構造の洗練と情報最大化の目的を提案して、下流のクラスタリングと分類タスクを改善する。
• InfoMGF の効果に関する理論的保証を提供し、敵対的ノイズに対する頑健性を示す。

提案手法

• 各ビューをビュー固有の二層アテンションネットワークで洗練させ、洗練されたグラフとノード表現を取得する。
• 洗練されたグラフからノード埋め込みを計算する共有GCNエンコーダを用いる。
• ビュー間で共有タスク関連情報を最大化するため、相互情報損失 Ls を I(Gi^s; Gj^s) に相当させて共有情報を最大化する。
• ランダムマスキングと学習可能な拡張を用いた拡張グラフアプローチ（InfoMGF-RA と InfoMGF-LA）でビュー固有のタスク関連情報を最大化する。
• ビュー間および融合グラフと洗練グラフ間のノードレベルMIを最適化するため、MI境界（I_lb, I_ub）を用いる。
• 洗練されたビューを単一グラフ G^s に融合し、すべてのビューについて I(G^s; G_i^s) を最大化し、最終的な GCN で Z を得る。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習は複数のグラフビューから情報を頑健に融合し、ノイズを除去しつつタスク関連情報を保持できるか。
• RQ2 複数のビュー設定で共有情報とビュー固有情報の両方を同時に最大化するにはどうすれば良いか。
• RQ3 学習可能なグラフ拡張はビュー固有情報の抽出と全体的な融合品質に寄与するか。
• RQ4 InfoMGF がタスク関連情報を捉える効果についての理論的保証は何か。
• RQ5 さまざまな下流タスクと敵対的撹乱の下で InfoMGF はベースラインとどのように競うか。

主な発見

方法	ACM_NMI	ACM_ARI	ACM_ACC	ACM_F1	DBLP_NMI	DBLP_ARI	DBLP_ACC	DBLP_F1	Yelp_NMI	Yelp_ARI	Yelp_ACC	Yelp_F1	MAG_NMI	MAG_ARI	MAG_ACC	MAG_F1
InfoMGF-RA	74.89	81.09	92.82	92.89	70.19	73.49	88.72	88.31	72.67	74.66	91.85	92.86	56.65	45.25	64.13	63.09
InfoMGF-LA	76.53	81.49	93.45	93.42	73.22	78.49	91.08	90.69	75.18	78.91	93.26	94.01	-	-	-	-

• InfoMGF は ACM, DBLP, Yelp, MAG のデータセットでノードクラスタリングの最先端ベースラインを上回る。
• 学習可能な拡張を用いた InfoMGF-LA は最良のクラスタリング結果を示し、ビュー固有情報の捕捉の利点を浮き彫りにしている。
• InfoMGF は競合手法よりもランダムなエッジ撹乱に対して頑健であることを示す。
• 融合グラフ G^s は単一ビューの洗練グラフ G_i^s よりも多くのタスク関連情報を含む（定理3）。
• アブレーション研究は、共有情報Lsと固有情報Luの両方が有益であり、Lu の影響が大きいことを示す。
• InfoMGF-LA は複数のデータセットで構造固定の教師あり手法を上回る。