[論文レビュー] Principled Simplicial Neural Networks for Trajectory Prediction

T. Mitchell Roddenberry, Nicholas Glaze+1 more|arXiv (Cornell University)|Feb 19, 2021

Topological and Geometric Data Analysis参考文献 35被引用数 10

ひとこと要約

本稿では、単体複体上の軌道予測のための原理的で単純化されたニューラルネットワークアーキテクチャを提案する。この手法は、奇数非線形活性化関数を用いて、置換等変性、方向性等変性、単体認識性を強制することで、代数的位相幾何学的手法（Hodgeラプラシアンや境界作用素）を活用し、合成的および現実世界のデータセットにおいて未観測の軌道への一般化性能を優れたものにしている。

ABSTRACT

We consider the construction of neural network architectures for data on simplicial complexes. In studying maps on the chain complex of a simplicial complex, we define three desirable properties of a simplicial neural network architecture: namely, permutation equivariance, orientation equivariance, and simplicial awareness. The first two properties respectively account for the fact that the node indexing and the simplex orientations in a simplicial complex are arbitrary. The last property encodes the desirable feature that the output of the neural network depends on the entire simplicial complex and not on a subset of its dimensions. Based on these properties, we propose a simple convolutional architecture, rooted in tools from algebraic topology, for the problem of trajectory prediction, and show that it obeys all three of these properties when an odd, nonlinear activation function is used. We then demonstrate the effectiveness of this architecture in extrapolating trajectories on synthetic and real datasets, with particular emphasis on the gains in generalizability to unseen trajectories.

研究の動機と目的

• 単体複体上のデータを扱う一般化可能なニューラルネットワークアーキテクチャの開発。これは、内在的な位相的対称性を尊重することを目的とする。
• 単体複体上のニューラルネットワークに対して、3つの重要な性質—置換等変性、方向性等変性、単体認識性—を形式化すること。
• これらの性質を満たし、軌道予測における一般化性能を向上させる、代数的位相幾何学に根ざした畳み込み型アーキテクチャの設計。
• 合成的および現実世界の設定において、未観測の軌道に対するアーキテクチャの性能を実験的に検証すること。

提案手法

• アーキテクチャは単体複体のチェイン複体に基づき、離散微積分から導かれる境界作用素とHodgeラプラシアンを用いる。
• 頂点の再ラベル化に対して出力が不変であることを保証することで、置換等変性を実現する。
• 単体の方向性の反転に対してもネットワークの挙動が一貫的であることを保証し、奇数活性化関数によって実現する。
• 各層が線形変換の後に奇数非線形活性化関数を適用するシンプルでスタック可能な畳み込み設計を採用し、等変性を維持する。
• Hodgeラプラシアンを用いてチェイン複体上の拡散作用素を定義し、次元が異なる単体間での滑らかな信号伝搬を可能にする。
• アーキテクチャは、全単体構造に依存するようにエンドツーエンドで訓練され、次元の部分集合に依存するのではなく、単体構造全体に依存する。

実験結果

リサーチクエスチョン

• RQ1 単体複体上のニューラルネットワークは、頂点の再ラベル化や方向性の反転といった、内在的な位相的対称性をどのように尊重できるか？
• RQ2 ネットワークの出力が単体複体の全構造に依存するようにするための、どのようなアーキテクチャ的制約が必要か？
• RQ3 奇数非線形活性化関数は、単体ニューラルネットワークにおける方向性等変性を保証する十分条件となるか？
• RQ4 単体認識性を組み込むことで、軌道予測における未観測軌道への一般化性能がどの程度向上するか？
• RQ5 複雑な関係データに対して、既存のグラフまたは単体ニューラルネットワークと比較して、提案アーキテクチャの一般化性能と頑健性はどの程度優れているか？

主な発見

• 奇数非線形活性化関数を用いることで、提案アーキテクチャは、置換等変性、方向性等変性、単体認識性という3つの望ましい性質をすべて満たす。
• 奇数非線形性の使用により、方向性の反転に対してもネットワークの挙動が一貫的となり、これは位相的不変性にとって不可欠である。
• 実験的結果では、合成的および現実世界のデータセットにおいて、未観測の軌道への一般化性能が顕著に向上しており、特に外挿の状況で顕著な向上が得られた。
• 単体複体にエンコードされた高次の関係的構造を活用することで、ベースラインモデルに比べて軌道予測タスクで優れた性能を発揮した。
• 単体のインデックス付けや方向性の変化に対しても頑健であることが実験的に確認され、理論的設計原理が実際の応用でも有効であることが裏付けられた。
• アブレーションスタディにより、奇数非線形性が方向性等変性を実現するために不可欠であることが確認され、偶数または線形活性化関数ではこの対称性が破壊された。