[論文レビュー] PersLay: A Neural Network Layer for Persistence Diagrams and New Graph Topological Signatures

Mathieu Carrière, Frédéric Chazal+4 more|arXiv (Cornell University)|Apr 20, 2019

Topological and Geometric Data Analysis参考文献 41被引用数 75

ひとこと要約

PersLay は、グラフに由来する持続性ダイアグラムのベクトル化を学習する微分可能なニューラルネットワーク層を導入し、競争力のある結果とスケーラブルな性能を備えたエンドツーエンドのグラフ分類を実現します。

ABSTRACT

Persistence diagrams, the most common descriptors of Topological Data Analysis, encode topological properties of data and have already proved pivotal in many different applications of data science. However, since the (metric) space of persistence diagrams is not Hilbert, they end up being difficult inputs for most Machine Learning techniques. To address this concern, several vectorization methods have been put forward that embed persistence diagrams into either finite-dimensional Euclidean space or (implicit) infinite dimensional Hilbert space with kernels. In this work, we focus on persistence diagrams built on top of graphs. Relying on extended persistence theory and the so-called heat kernel signature, we show how graphs can be encoded by (extended) persistence diagrams in a provably stable way. We then propose a general and versatile framework for learning vectorizations of persistence diagrams, which encompasses most of the vectorization techniques used in the literature. We finally showcase the experimental strength of our setup by achieving competitive scores on classification tasks on real-life graph datasets.

研究の動機と目的

• グラフ上で Heat Kernel Signatures (HKS) に基づく拡張持続性ダイアグラムを導入し、その安定性を証明する。
• PersLay を開発し、置換不変フレームワーク内で持続性ダイアグラムのベクトル化を学習するニューラルネットワーク層。
• PersLay が一般的なダイアグラムのベクトル化を一般化することと、エンドツーエンド学習のために微分可能であることを示す。
• 合成ダイナミカルシステムデータセットと実世界のグラフデータセットでスケーラビリティと競争力のある性能を示す。

提案手法

• PersLayを置換不変層として定義する: PersLay(Dg) = op({w(p) * phi(p) for p in Dg}).
• ダイアグラムの点を特徴ベクトルへ写像する3つの点変換関数 phi: triangle (Lambda)、Gaussian (Gamma)、および line (L) を提供する。
• PersLayを既存のベクトル化（landscapes、silhouettes、surfaces、kernels）と特殊ケースとして関連付ける。
• 訓練可能な重み関数 w と表現 phi を許容し、バックプロパゲーションを介した連続学習を可能にする。
• PersLayと組み合わせて使用される持続性ダイアグラムが、ダイアグラム距離 dB および拡散パラメータ t に対して安定であることを示す。
• 簡単なグラフ分類器（2層ネットワーク）に PersLay を組み込み、標準的なグラフベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフから導出された持続性ダイアグラムを、訓練可能なニューラルネットワークに効果的に組み込むにはどうすればよいか？
• RQ2 単一の微分可能レイヤー（PersLay）は、既存の持続性ダイアグラムのベクトル化を一般化し、回復することができるか？
• RQ3 Heat Kernel Signatures に基づく拡張持続性ダイアグラムは、グラフ分類タスクに対して安定かつ有効か？
• RQ4 大規模なグラフデータセットに対して、PersLay はカーネル法や標準的なグラフニューラルネットワークと比べてどのように性能を示すか？

主な発見

• PersLay は幅広いグラフ分類ベンチマークで競争力のある精度を達成し、しばしば最先端手法と同等の性能を示す。
• ORBIT5K および ORBIT100K のダイナミカルシステムデータセットで、PersLay はいくつかのカーネルベース手法を上回り、非常に大規模なデータセット（ORBIT100K）にスケールする。
• このフレームワークは共通のベクトル化を特殊ケースとして包含し、グラフのトポロジー特徴の柔軟な学習を可能にする。
• Heat Kernel Signatures に基づく拡張持続性ダイアグラムは、グラフの摂動と拡散パラメータ t に対して安定である。
• PersLay を用いた単純な2層アーキテクチャは、複雑なグラフニューラルネットワークを必要とせずに高い性能を発揮できる。）