[論文レビュー] COIN: Co-Cluster Infomax for Bipartite Graphs

Baoyu Jing, Yuchen Yan+2 more|arXiv (Cornell University)|May 31, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

COINは、二部グラフにおけるノード埋め込みを向上させるために、2つのノードタイプの共通クラスタ間の相互情報量を最大化することで、画期的な自己教師あり学習フレームワークを導入する。従来の手法がニューラルネットワークを用いて相互情報量を推定するのに対し、COINは直接計算することで、エンドツーエンド微分可能な共通クラスタリングを可能にし、リンク予測、推薦、クラスタリングのタスクで性能向上を実現する。

ABSTRACT

Bipartite graphs are powerful data structures to model interactions between two types of nodes, which have been used in a variety of applications, such as recommender systems, information retrieval, and drug discovery. A fundamental challenge for bipartite graphs is how to learn informative node embeddings. Despite the success of recent self-supervised learning methods on bipartite graphs, their objectives are discriminating instance-wise positive and negative node pairs, which could contain cluster-level errors. In this paper, we introduce a novel co-cluster infomax (COIN) framework, which captures the cluster-level information by maximizing the mutual information of co-clusters. Different from previous infomax methods which estimate mutual information by neural networks, COIN could easily calculate mutual information. Besides, COIN is an end-to-end coclustering method which can be trained jointly with other objective functions and optimized via back-propagation. Furthermore, we also provide theoretical analysis for COIN. We theoretically prove that COIN is able to effectively increase the mutual information of node embeddings and COIN is upper-bounded by the prior distributions of nodes. We extensively evaluate the proposed COIN framework on various benchmark datasets and tasks to demonstrate the effectiveness of COIN.

研究の動機と目的

• インスタンス単位の対照学習に焦点を当て、クラスタレベルの構造を無視する既存の自己教師あり手法の限界に対処する。
• 学習目的に共通クラスタリング情報を組み込むことで、ノード埋め込みの質を向上させる。
• バックプロパゲーションを用いた逆伝播で共同最適化可能な、微分可能なエンドツーエンドの共通クラスタリングフレームワークを開発する。
• 共通クラスタの相互情報量とノード埋め込みの相互情報量の理論的関係を分析し、事前分布に基づく上限を確立する。
• リンク予測、推薦、クラスタリングを含む多様な下流タスクにおいて、実世界のベンチマークデータセット上でCOINの有効性を実証する。

提案手法

• 二部グラフの2つのノードタイプに対して、ノード埋め込みと共通クラスタリングを同時に学習する共通クラスタの情報最大化（COIN）フレームワークを提案する。
• ニューラルネットワークによる推定を避けるために、共通クラスタ間の相互情報量を閉形式で計算することで、ユーザー（U）とアイテム（V）の共通クラスタ間の相互情報量を最大化する。
• 両方のノードタイプのクラスタ割り当てを生成するニューラルネットワークを用い、バックプロパゲーションによる微分可能な最適化を可能にする。
• 目的関数を、ϕ_U(U); ϕ_V(V) の相互情報量 I を最大化することとして定式化する。ここで ϕ_U と ϕ_V はそれぞれ U と V のクラスタリング関数である。
• リンク予測や再構築などの他の目的関数と共同で学習可能な微分可能なモジュールとして COIN を統合する。
• 理論的分析により、共通クラスタの相互情報量を最大化することはノード埋め込み間の相互情報量を増加させることを示し、グラフ上の事前分布によって上限が与えられることを示している。

実験結果

リサーチクエスチョン

• RQ1 2つのノードタイプの共通クラスタ間の相互情報量を最大化することで、二部グラフにおけるノード埋め込みの質が向上するか？
• RQ2 共通クラスタリングにおける相互情報量の直接計算は、ニューラル推定手法に比べて信頼性と性能で優れているか？
• RQ3 共通クラスタリング目的を微分可能にし、他の学習目的と共同でエンドツーエンドの学習パイプラインに統合できるか？
• RQ4 リンク予測や推薦などの下流タスクにおいて、COINは既存の自己教師ありおよび対照学習手法と比べてどのように性能を発揮するか？
• RQ5 COINにおける相互情報量最大化には、上限や収束性に関する理論的保証が存在するか？

主な発見

• COINはクラスタレベルの構造を捉えることで、インスタンス単位の対照ベースラインに比べて下流タスクにおける性能を顕著に向上させるノード埋め込みの質を大幅に向上させる。
• COINにおける相互情報量の直接計算は、ニューラルベースの相互情報量推定器に一般的に見られる不安定さと推定誤差を回避する。
• COINは複数のベンチマークデータセットにおいて、リンク予測、推薦、クラスタリングタスクで最先端または競争力のある結果を達成する。
• 理論的分析により、共通クラスタの相互情報量を最大化することはノード埋め込み間の相互情報量を増加させることを確認し、手法の設計の妥当性を裏付けた。
• 共通クラスタの相互情報量は、二部グラフ上の事前分布によって上限が与えられ、この手法の収束性に対する理論的基盤を提供する。
• COINはエンドツーエンドで学習可能であり、他の微分可能な目的関数と共同で最適化可能であるため、既存のGNNパイプラインへの柔軟な統合が可能である。