[論文レビュー] Architectures of Topological Deep Learning: A Survey of Message-Passing Topological Neural Networks

Mathilde Papillon, Sophia Sanborn+2 more|arXiv (Cornell University)|Apr 20, 2023

Gene Regulatory Network Analysis被引用数 15

ひとこと要約

トポロジカル深層学習を紹介し、ハイパーグラフ、シンプリシャル複体、セルラー複体、組合せ複体などの領域を横断する幅広いメッセージパッシングTopological Neural Networks (TNNs) を統一した包括的な調査。統一された表記系、グラフィカルなテンソル図、そして課題と機会の議論を提供する。

ABSTRACT

The natural world is full of complex systems characterized by intricate relations between their components: from social interactions between individuals in a social network to electrostatic interactions between atoms in a protein. Topological Deep Learning (TDL) provides a comprehensive framework to process and extract knowledge from data associated with these systems, such as predicting the social community to which an individual belongs or predicting whether a protein can be a reasonable target for drug development. TDL has demonstrated theoretical and practical advantages that hold the promise of breaking ground in the applied sciences and beyond. However, the rapid growth of the TDL literature for relational systems has also led to a lack of unification in notation and language across message-passing Topological Neural Network (TNN) architectures. This presents a real obstacle for building upon existing works and for deploying message-passing TNNs to new real-world problems. To address this issue, we provide an accessible introduction to TDL for relational systems, and compare the recently published message-passing TNNs using a unified mathematical and graphical notation. Through an intuitive and critical review of the emerging field of TDL, we extract valuable insights into current challenges and exciting opportunities for future development.

研究の動機と目的

• 関係性系に対するTopological Deep Learning (TDL) の入門的な導入を提供する。
• 共通の数理表記とグラフィカル表記を用いて、公開されたメッセージパッシングTopological Neural Networks (TNNs) を統一・比較する。
• TNNのアーキテクチャ、応用、および実用的考慮事項を分析する。
• TDLにおける現在の課題と将来の発展機会を特定する。

提案手法

• 離散ドメイン（グラフ、ハイパーグラフ、シンプリシャル複体、セルラー複体、組合せ複合体）とそれらのランクとセルについてデータを提示する。
• 隣接構造を符号化するための境界関係とインシデンス行列を定義する。
• メッセージパッシングを4つのステップ（Message、Within-neighborhood aggregation、Between-neighborhood aggregation、Update）に分解し、層間で特徴量がどのように更新されるかを説明する。
• テンソル図を用いてメッセージパッシング方式をグラフィカルに表現し、アーキテクチャを比較する。
• ドメインとメッセージパッシングの種類でTNNアーキテクチャを分類・レビューし、それらの表記に統一された方程式を用いる。

Figure 1: Topological Neural Network : Data associated with a complex system are features defined on a data domain , which is preprocessed into a computational domain that encodes interactions between the system’s components with neighborhoods . The TNN’s layers use message passing to successively u

実験結果

リサーチクエスチョン

• RQ1 異なるトポロジー領域に跨る Topological Neural Networks におけるメッセージパッシングの共通アーキテクチャは何か？
• RQ2 TDLにおいて、Hypergraphs、Simplicial Complexes、Cellular Complexes、Combinatorial Complexesを比較するのに統一された表記法はどのように役立つか？
• RQ3 さまざまなリレーショナルデータタスクに対するTNNの主な強みと制約は何か？
• RQ4 残る課題は何か、Topological Deep Learningの将来の発展にはどのような機会があるか？

主な発見

• Topological Deep Learning はグラフを超え、Hypergraphs、Simplicial Complexes、Cellular Complexes のような領域に広がり、より高次の関係のモデリングを可能にする。
• 共通の4段階のメッセージパッシングフレームワーク（Message、Within-neighborhood aggregation、Between-neighborhood aggregation、Update）により、領域横断のTNNアーキテクチャの体系的な比較を促進する。
• テンソル図は、トポロジカル領域と層を通じてメッセージが伝播する様子を視覚的かつ直感的に表現する。
• TNNアーキテクチャは、領域によって、標準的、アテンショナル、または一般的なメッセージパッシングを使用するかどうかによって異なり、モデルごとに複数の隣接構造が採用される。
• 本調査は、学習中にトポロジー構造を保持することが表現力と性能を向上させることが多いと強調する一方、領域固有の制約と実用的な考慮事項が依然として存在する。

Figure 2: Domains: Nodes in blue, (hyper)edges in pink, and faces in dark red. Figure adapted from [ 11 ] .