[論文レビュー] Cascade-BGNN: Toward Efficient Self-supervised Representation Learning on Large-scale Bipartite Graphs

Chaoyang He, Tian Xie+5 more|arXiv (Cornell University)|Jun 27, 2019

Advanced Graph Neural Networks参考文献 22被引用数 8

ひとこと要約

Cascade-BGNN は、大規模な二部グラフにおける効率的なノード表現学習のための自己教師あり、ドメイン整合性のあるグラフニューラルネットワークを提案する。Inter-domain Message Passing (IDMP) と adversarial learning を用いた Intra-domain Alignment (IDA) を用いて、クロスおよび内部パーティション間の関係をモデル化し、段階的な学習により深くスケーラブルな多ホップメッセージパッシングを実現する。実世界のグラフにおいて、低メモリかつ高速な学習を実現し、最先端の性能を達成する。

ABSTRACT

Bipartite graphs have been used to represent data relationships in many data-mining applications such as in E-commerce recommendation systems. Since learning in graph space is more complicated than in Euclidian space, recent studies have extensively utilized neural nets to effectively and efficiently embed a graph's nodes into a multidimensional space. However, this embedding method has not yet been applied to large-scale bipartite graphs. Existing techniques either cannot be scaled to large-scale bipartite graphs that have limited labels or cannot exploit the unique structure of bipartite graphs, which have distinct node features in two domains. Thus, we propose Cascade Bipartite Graph Neural Networks, Cascade-BGNN, a novel node representation learning for bipartite graphs that is domain-consistent, self-supervised, and efficient. To efficiently aggregate information both across and within the two partitions of a bipartite graph, BGNN utilizes a customized Inter-domain Message Passing (IDMP) and Intra-domain Alignment (IDA), which is our adaptation of adversarial learning, for message aggregation across and within partitions, respectively. BGNN is trained in a self-supervised manner. Moreover, we formulate a multi-layer BGNN in a cascaded training manner to enable multi-hop relationship modeling while improving training efficiency. Extensive experiments on several datasets of varying scales verify the effectiveness and efficiency of BGNN over baselines. Our design is further affirmed through theoretical analysis for domain alignment. The scalability of BGNN is additionally verified through its demonstrated rapid training speed and low memory cost over a large-scale real-world bipartite graph.

研究の動機と目的

• ラベルが限られている、あるいはラベルが存在しない大規模な二部グラフにおける効果的なノード表現学習の課題に対処すること。
• 二部グラフにおける2つのドメイン（例：ユーザーと製品）間の特徴分布の違いを活用すること。標準的な GNN は、これを効果的にモデル化できない。
• 大規模グラフ上で既存手法のメモリおよび計算のボトル neck を回避するスケーラブルな自己教師ありフレームワークを開発すること。
• 段階的な学習により、トレーニング効率と低メモリ使用量を維持しながら、多ホップ近傍集約を可能にすること。
• adversarial learning を用いて各パーティション内の特徴分布をアライメントすることで、学習された表現のドメイン整合性を保証すること。

提案手法

• Inter-domain Message Passing (IDMP) は、二部グラフの2つのパーティション間でメッセージをアグリゲートし、ユーザーとアイテムノード間でクロスドメインの情報伝達を可能にする。
• Intra-domain Alignment (IDA) は adversarial learning を用いて、各パーティション内のノードの特徴分布をアライメントし、ドメイン固有のバイアスを低減し、表現の一貫性を向上させる。
• 標準的な GNN が示すようなメモリの爆発を避けるために、BGNN の複数層を段階的にスタックするための段階的トレーニング戦略を採用する。
• ノードラベルや高価なサンプリング手順を必要とせず、adversarial アライメントに基づく対照的損失を用いて自己教師ありで学習する。
• モデルは、全グラフをメモリにロードするのを避けてミニバッチで処理することで、大規模グラフにおけるスケーラビリティを大幅に向上させる。
• インダクティブな設計となっており、以前に見られなかったノードに対しても、前の層で学習されたパラメータを活用して推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり GNN フレームワークは、ラベルが最小限の状況下でも、大規模な二部グラフにおけるノード表現を効果的に学習できるか？
• RQ2 ユーザーとアイテムなどの2つのドメイン間の特徴分布の不一致をどのように是正すれば、表現品質を向上させられるか？
• RQ3 段階的トレーニングは、トレーニング効率と低メモリ使用量を維持しながら、二部グラフにおける深層的メッセージパッシングを可能にするか？
• RQ4 提案された IDMP および IDA メカニズムは、標準的な GNN やランダムウォークベース手法と比較して、スケーラビリティおよびパフォーマンス面で優れているか？
• RQ5 adversarial ベースのインtra-domain アライメントは、ノード埋め込みの一般化およびロバストネスをどの程度向上させるか？

主な発見

• Cascade-BGNN は、複数の大規模な二部グラフベンチマークで最先端のパフォーマンスを達成し、ノード分類や推薦などの下流タスクにおいて、既存の自己教師ありおよび半教師あり GNN よりも優れている。
• スケーラビリティに優れ、Tencent データセットにおいて GraphSAGE や AS-GCN よりも顕著に高速にトレーニングが可能であり、トレーニング時間およびメモリコストがグラフサイズに線形に増加する。
• Cascade-BGNN は、一度に1つのミニバッチしか処理しないため、全グラフをメモリにロードする必要がなく、ベースラインと比較してメモリコストが低く抑えられる。
• 段階的トレーニング戦略により、メモリ使用量が削減され、制御不能な近傍拡張が防がれ、パフォーマンス劣化を伴わずにより深いモデルが可能になる。
• adversarial ベースの IDA 損失により、高価なサンプリングやランダムウォークの必要がなくなり、自己教師あり学習における計算オーバーヘッドが低減される。
• 理論的分析により、IDA がドメインアライメントを保証することが確認され、モデルのロバストネスおよび一般化性能の根拠が裏付けられる。