[論文レビュー] From Latent Graph to Latent Topology Inference: Differentiable Cell Complex Module

Claudio Battiloro, Indro Spinelli+4 more|arXiv (Cornell University)|May 25, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、データから高次でスパースなセル複体（多角形を含む）を学習する微分可能アーキテクチャである微分可能セル複体モジュール（DCM）を用いた、潜在的トポロジー推定（LTI）を提案する。2段階のエンドツーエンド学習プロセス——まず改善された$α$-DGMを用いて1スケルトングラフを学習し、次に$α$-entmaxを用いたスパースサンプリングで関連する2セル（多角形）を推定する——により、入力グラフが最適でないか欠落している場合でも、同定された最新技術を上回る性能を発揮する。

ABSTRACT

Latent Graph Inference (LGI) relaxed the reliance of Graph Neural Networks (GNNs) on a given graph topology by dynamically learning it. However, most of LGI methods assume to have a (noisy, incomplete, improvable, ...) input graph to rewire and can solely learn regular graph topologies. In the wake of the success of Topological Deep Learning (TDL), we study Latent Topology Inference (LTI) for learning higher-order cell complexes (with sparse and not regular topology) describing multi-way interactions between data points. To this aim, we introduce the Differentiable Cell Complex Module (DCM), a novel learnable function that computes cell probabilities in the complex to improve the downstream task. We show how to integrate DCM with cell complex message passing networks layers and train it in a end-to-end fashion, thanks to a two-step inference procedure that avoids an exhaustive search across all possible cells in the input, thus maintaining scalability. Our model is tested on several homophilic and heterophilic graph datasets and it is shown to outperform other state-of-the-art techniques, offering significant improvements especially in cases where an input graph is not provided.

研究の動機と目的

• グラフニューラルネットワーク（GNN）が固定または最適でない入力グラフトポロジーに依存するという限界に対処し、動的で高次のトポロジカル構造のエンドツーエンド学習を可能にする。
• 潜在的グラフ推定（LGI）を、特に正則セル複体を含む高次の複体に一般化し、データポイント間の多項相互作用をモデル化する。
• すべての可能な高次セルの全探索が計算的に非現実的であるのを克服するため、スケーラブルな2段階推定手順を導入する。
• 特に入力グラフがデータ構造と整合性が低い異性的（heterophilic）設定において、ノード分類タスクの下流性能を向上させる。
• 学習された潜在的トポロジーが、入力グラフがノイズが多いか情報が乏しい場合でも高い同性的（homophily）特性と頑健性を示すことを示す。

提案手法

• 高次セル（多角形）のセル複体への含める確率を計算する学習可能な関数である微分可能セル複体モジュール（DCM）を提案する。
• 2段階の推定プロセスを採用する：まず、従来のDGMの正則トポロジー制限を克服した改善された$α$-Differentiable Graph Module（$α$-DGM）を用いて1スケルトングラフを学習する。
• 次に、ノードおよびエッジ表現に基づき、どの2セル（三角形、四角形など）を複体に含めるかを学習するポリゴン推定モジュール（PIM）を用いる。
• 候補となる多角形のスパースで微分可能なサンプリングを可能にする$α$-entmax関数族を活用し、潜在的な高次相互作用に対する効率的かつスケーラブルな探索を実現する。
• DCMをグラフニューラルネットワーク（GNN）およびセル複体ニューラルネットワーク（CCNN）のメッセージパッシング層と統合し、トポロジーと表現学習の共同最適化を実現する。
• パrameterに関して微分可能な損失関数を用いて、エンドツーエンドで全アーキテクチャを訓練する。これにより、トポロジーと表現学習の両方の最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 固定または入力グラフに依存するものではなく、データから高次トポロジカル構造（セル複体）を微分可能かつ学習可能なフレームワークが推定可能か？
• RQ2 すべての可能な高次セルの探索コストを減らしながら、表現力とスケーラビリティを維持する方法は何か？
• RQ3 潜在的セル複体を学習することで、ノード分類タスクの性能が向上するか。特に、入力グラフが最適でない異性的設定においては？
• RQ4 入力グラフが異性的であっても、推定されたトポロジーがどの程度同性的特性を示すか？
• RQ5 入力グラフが存在しない場合でも、DCMは一般化可能で、競争力のある性能を達成できるか？

主な発見

• DCMは、複数の同性的および異性的グラフベンチマークで最先端の性能を達成し、既存の潜在的グラフ推定手法を上回る。
• Texasデータセットでは、推定された1スケルトンの同性的度合いが初期入力の0.11から最終学習済みグラフの0.99に上昇しており、強い自己組織的同性的構造への収束を示している。
• 入力グラフが情報が乏しい場合でも、モデルは高い性能を維持しており、劣悪またはノイズの多いグラフ入力に対して頑健であることを示している。
• 訓練過程でサンプリングされた多角形の割合（$\%_{p}$）が100%から20%に減少しており、意味のある高次相互作用のスパース化と選択が効果的に行われていることがわかる。
• 学習済みグラフの次数分布は非常に広がっており、多数の推定多角形が同じクラスに属していることから、モデルが意味的でクラス一貫性のある多項相互作用を学習できていることが確認された。
• アブレーションスタディにより、2段階推定プロセスおよび$α$-entmaxを用いたスパースで微分可能なサンプリングの重要性が裏付けられている。