[論文レビュー] Topological Deep Learning: Going Beyond Graph Data

Mustafa Hajij, Ghada Zamzmi+12 more|arXiv (Cornell University)|Jun 1, 2022

Topological and Geometric Data Analysis被引用数 26

ひとこと要約

本論文は、結合的複合体（CCs）を統一的な位相ドメインとして導入し、Push-forwardに基づく高次元メッセージ伝播を備えたCCニューラルネットワーク（CCNNs）を開発し、形状分析とグラフ学習タスクで競争力のある性能を示す。

ABSTRACT

Topological deep learning is a rapidly growing field that pertains to the development of deep learning models for data supported on topological domains such as simplicial complexes, cell complexes, and hypergraphs, which generalize many domains encountered in scientific computations. In this paper, we present a unifying deep learning framework built upon a richer data structure that includes widely adopted topological domains. Specifically, we first introduce combinatorial complexes, a novel type of topological domain. Combinatorial complexes can be seen as generalizations of graphs that maintain certain desirable properties. Similar to hypergraphs, combinatorial complexes impose no constraints on the set of relations. In addition, combinatorial complexes permit the construction of hierarchical higher-order relations, analogous to those found in simplicial and cell complexes. Thus, combinatorial complexes generalize and combine useful traits of both hypergraphs and cell complexes, which have emerged as two promising abstractions that facilitate the generalization of graph neural networks to topological spaces. Second, building upon combinatorial complexes and their rich combinatorial and algebraic structure, we develop a general class of message-passing combinatorial complex neural networks (CCNNs), focusing primarily on attention-based CCNNs. We characterize permutation and orientation equivariances of CCNNs, and discuss pooling and unpooling operations within CCNNs in detail. Third, we evaluate the performance of CCNNs on tasks related to mesh shape analysis and graph learning. Our experiments demonstrate that CCNNs have competitive performance as compared to state-of-the-art deep learning models specifically tailored to the same tasks. Our findings demonstrate the advantages of incorporating higher-order relations into deep learning models in different applications.

研究の動機と目的

• グラフ、シンプリシャル/セル複合体、およびハイパーグラフを一般化する統一的な位相ドメインとして combinatorial complexes (CCs) を導入する。
• 畳み込み、アテンション、およびプーリング/アンプーリング演算を含む一般的な CCNN クラスを開発する。
• CCNN フレームワークにおける高次のメッセージ伝播、等価性、およびプーリングを定義・分析する。
• meshes の形状解析やグラフ学習で有効性を示す実践的な実装とベンチマークを提供する。

提案手法

• Push-forward 演算子の上に構築された CCNN を開発し、高次のメッセージ伝播を可能にする。
• CC の畳み込み、CC アテンション、および CC プーリング/アンプーリングをテンソルベースの演算として定式化する。
• CCNN の置換対称性と向きの等価性を確立し、CCNN をハッセグラフ表現に関連づける。
• 形状/機械学習タスクのためのソフトウェアライブラリ（TopoNetX、TopoEmbedX、TopoModelX）と実験パイプラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 CCs がグラフ、シンプリシャル/セル複体、ハイパーグラフ上の学習の統一ドメインになり得るか？
• RQ2 Push-forward 演算が CCNN における効果的な高次メッセージ伝播を可能にする方法は？
• RQ3 CCNN の置換・向きの等価性性質は何か、プーリング/アンプーリングはこのフレームワークでどのように振る舞うのか？
• RQ4 CCNN は最先端モデルと比較してメッシュ形状解析やグラフ学習タスクで競争力のある性能を発揮するか？

主な発見

• CCNN は高次ドメイン全体にわたるトポロジカル深層学習の統一的設計図を提供する。
• Push-forward ベースのメッセージ伝播を備えた CCNN はメッシュのセグメンテーション/分類およびグラフタスクで競争力のある性能を達成する。
• 高次関係と CC プーリング/アンプーリングは信号を CC 次元間で堅牢にリフトし、長距離情報伝播を可能にする。
• このフレームワークは TDA の mapper 構築とつながり、CCs をグラフベースの解析のためのハッセグラフへ還元できることを示す。