[論文レビュー] Persformer: A Transformer Architecture for Topological Machine Learning

Raphael Reinauer, Matteo Caorsi+1 more|arXiv (Cornell University)|Dec 30, 2021

Topological and Geometric Data Analysis被引用数 5

ひとこと要約

Persformerは、従来のベクトル化を経由せずに、直接パーシステンス図を処理することを目的とした、初めての変換器ベースのニューラルネットワークアーキテクチャを導入した。合成データおよびグラフのベンチマークにおいて最先端の性能を達成し、汎用近似定理を満たし、トポロジカル機械学習における解釈可能なサリエンシーマップ手法を初めて実現した。その結果、曲率予測などのタスクにおいて『小さなバー』が意味のある特徴であることが明らかになった。

ABSTRACT

One of the main challenges of Topological Data Analysis (TDA) is to extract features from persistent diagrams directly usable by machine learning algorithms. Indeed, persistence diagrams are intrinsically (multi-)sets of points in $\mathbb{R}^2$ and cannot be seen in a straightforward manner as vectors. In this article, we introduce $ exttt{Persformer}$, the first Transformer neural network architecture that accepts persistence diagrams as input. The $ exttt{Persformer}$ architecture significantly outperforms previous topological neural network architectures on classical synthetic and graph benchmark datasets. Moreover, it satisfies a universal approximation theorem. This allows us to introduce the first interpretability method for topological machine learning, which we explore in two examples.

研究の動機と目的

• パーシステンス図（R²内の点の順序なし多重集合）を、手作業によるベクトル化を経ずにディープラーニングパイプラインに直接統合する課題に対処すること。
• パーシステンス図の集合的性質を尊重し、点の順序に不変であるニューラルネットワークアーキテクチャを設計すること。
• パーシステンス図の空間上の任意の連続関数を表現できる学習可能なアーキテクチャを設計することで、トポロジカルデータ解析における汎用近似を実現すること。
• パーシステンス図内の個々の点がモデルの予測に与える寄与度を定量化する、新しい解釈性手法（サリエンシーマップ）を導入すること。

提案手法

• 各点をトークンとして扱い、相対的位置を符号化するための学習可能な位置埋め込みを備えた変換器アーキテクチャを設計し、パーシステンス図を入力として処理する。
• マルチヘッド自己注意機構を用いて、パーシステンス図内のトポロジカル特徴（点）間の長距離依存関係をモデル化する。
• 入力点の順列変換に対して不変である学習可能な位置符号化を統合し、集合同値性を保証する。
• 注意層の後にフィードフォワードネットワークヘッドを適用し、最終的な予測を出力することで、エンドツーエンドの学習を可能にする。
• 勾配帰属に基づくサリエンシーマップ手法を定義し、パーシステンス図内の各点がモデル出力に与える寄与度を定量化する。
• 分類には交差エントロピー、回帰には平均二乗誤差などの標準的なディープラーニング目的関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ベクトル化を事前に行わず、パーシステンス図を直接処理できる変換器ベースのアーキテクチャを設計することは可能か？
• RQ2 そのようなアーキテクチャは、標準的なトポロジカル機械学習ベンチマークで最先端の性能を達成するか？
• RQ3 パーシステンス図上で直接動作するニューラルネットワークアーキテクチャに対して、汎用近似定理を確立できるか？
• RQ4 サリエンシーマップのような解釈性手法を、トポロジカル機械学習に意味的に適応できるか？また、それらはトポロジカル特徴の重要性について何を明らかにするか？
• RQ5 パーシステンス図における『小さなバー』は単なるノイズにすぎないのか、それとも曲率推定などのタスクにおいて意味のある予測情報を持つのか？

主な発見

• Persformerは、標準ベンチマークデータセットにおいてPersLayより3.5%、PLLAyより4.0%高いテスト精度を達成し、優れた性能を示した。
• 曲率予測タスクでは、R²スコアが0.94を達成し、従来の最先端手法（SVM、R² = 0.78）を著しく上回った。
• サリエンシーマップ分析により、『小さなバー』—かつてノイズと想定されていたもの—が分類および回帰タスク、特に曲率推定において高い重要性を持つことが明らかになった。
• サリエンシーマップスコアは対角線からの距離が増すにつれて低下し、短命な特徴（対角線付近）が予測に最も影響を与えることが示された。
• サリエンシーマップ手法により、モデル性能を劣化させることなく次元削減が可能となり、モデル圧縮および解釈可能性の観点で有効であることが示された。
• Persformerは、汎用近似定理を満たす最初のトポロジカルディープラーニングモデルであり、その表現力の理論的基盤を確立した。