[論文レビュー] Simplicial Convolutional Neural Networks

Maosheng Yang, Elvin Isufi+1 more|arXiv (Cornell University)|Oct 6, 2021

Complex Network Analysis Techniques被引用数 10

ひとこと要約

本稿では、ホッジラプラシアンに基づく柔軟な単体フィルタを用いて、エッジ、三角形、およびそれ以上の単体といった高次元ネットワーク構造上のデータから学習する単体畳み込みニューラルネットワーク（SCNN）を提案する。SCNNは、多ホップ近傍集約とスペクトル解釈可能性を可能とし、特に高次元単体（k ≥ 2）において、高い欠損データ率下でも、先行手法を上回る性能を示し、1–2%の高い正確性を達成した。

ABSTRACT

Graphs can model networked data by representing them as nodes and their pairwise relationships as edges. Recently, signal processing and neural networks have been extended to process and learn from data on graphs, with achievements in tasks like graph signal reconstruction, graph or node classifications, and link prediction. However, these methods are only suitable for data defined on the nodes of a graph. In this paper, we propose a simplicial convolutional neural network (SCNN) architecture to learn from data defined on simplices, e.g., nodes, edges, triangles, etc. We study the SCNN permutation and orientation equivariance, complexity, and spectral analysis. Finally, we test the SCNN performance for imputing citations on a coauthorship complex.

研究の動機と目的

• ノード上のデータのみを処理できるグラフベースの手法の限界を補うために、単体複体における高次元単体（エッジ、三角形など）に定義されたデータに対するニューラルネットワークの拡張を目的とする。
• 勾配と回転成分の独立処理を組み込み、多ホップ近傍情報を利用することで、従来の単体ニューラルネットワークよりも表現力と柔軟性に優れた畳み込みアーキテクチャの開発を目的とする。
• 単体の順序および流れの方向に対する同型性を保証することで、トポロジカルな対称性を尊重する。
• 単体フーリエ変換を用いたスペクトル解釈可能性を提供し、周波数ドメインにおけるフィルタ応答の分析を可能とする。
• 実世界のキャシオンインピューションタスクにおいて、共同執筆単体複体上でのSCNNの実証的妥当性を検証し、既存手法を上回る性能を示す。

提案手法

• SCNNは、下位および上位ラプラシアン（ホッジラプラシアンの成分）の線形結合として定義される単体フィルタを採用し、単体信号の勾配および回転成分を独立して処理できる。
• フィルタは、複数ホップにわたる下位および上位近隣単体からの信号集約を実行する畳み込みに類似した操作により適用され、受容領域および表現力が向上する。
• 単体フィルタの後に要素ごとの非線形関数（LeakyReLU）を適用し、標準的な残差ブロックに類似したレイヤーを形成する。
• 単体の順序に対して置換同型性を保ち、流れ信号に対して方向同型性を保つようにアーキテクチャを設計し、トポロジカルな対称性を維持する。
• スペクトル解析は単体フーリエ変換を用い、SCNNレイヤーが入力スペクトルとフィルタ応答の周波数ドメインにおける点乗算を実行していることを示した。
• モデルは、既知のキャシオン値に対してℓ₁損失を用い、Adam最適化手法で学習させ、欠損値は中央値補完で置き換えている。

実験結果

リサーチクエスチョン

• RQ1 単体畳み込みニューラルネットワークは、ノードを越えてエッジや三角形などの高次元単体に定義されたデータから、効果的に学習できるか？
• RQ2 柔軟な単体フィルタを用いることで、勾配と回転応答を結合する従来のモデルと比較して、表現力がどのように向上するか？
• RQ3 SCNNは、単体の置換および流れの方向に対する同型性をどの程度維持しており、トポロジカルな対称性に対するロバストネスを確保しているか？
• RQ4 単体フーリエ変換によるスペクトル解釈は、学習された特徴およびフィルタの挙動に意味のある洞察を提供するか？
• RQ5 共同執筆単体複合体上での実世界のタスク、特にキャシオンインピューションにおいて、SCNNは最先端手法と比較してどの程度の性能を示すか？

主な発見

• SCNNは、勾配と回転成分の独立処理による高い表現力のおかげで、SNNベースラインと比較して収束が早く、訓練損失も低かった。
• k ≥ 2の場合、10%から50%までのあらゆる欠損データ率において、SCNNはインピューション正確性でSNNを1–2%上回り、特に高い欠損率下で統計的に有意な改善を示した。
• 50%の欠損キャシオンにおいて、5-単体（6名の著者を持つ論文）ではSCNNが61%の正確性を達成したのに対し、SNNは60%であった。これは、高次元単体における一般化性能の優位性を示している。
• モデルは、さまざまな単体次元においても安定した性能を維持しており、欠損率が上昇するにつれて正確性は徐々に低下するが、SNNよりも遅い割合で低下した。
• スペクトル解析により、SCNNレイヤーが周波数選択フィルタとして動作していることが確認され、勾配成分と回転成分にそれぞれ明確な応答が得られた。これにより、スペクトル解釈可能性が裏付けられた。
• 流れの基準方向が性能にほとんど影響を及ぼさなかったため、モデルはさまざまなトポロジカルな表記法に対しても安定していることが示された。