[論文レビュー] Simplicial 2-Complex Convolutional Neural Nets

Eric Bunch, Qian You+2 more|arXiv (Cornell University)|Dec 10, 2020

Topological and Geometric Data Analysis参考文献 12被引用数 8

ひとこと要約

本稿では、単体複体の代数的トポロジーを活用して、グラフ畳み込みネットワークを一般化する、単体2複体のための新しい畳み込みニューラルネットワーク層を提案する。MNISTでは91.10% ± 0.40の精度を達成し、標準的およびグラフベースのベースラインを上回り、データ内の高次関係をモデル化することの利点を示している。

ABSTRACT

Recently, neural network architectures have been developed to accommodate when the data has the structure of a graph or, more generally, a hypergraph. While useful, graph structures can be potentially limiting. Hypergraph structures in general do not account for higher order relations between their hyperedges. Simplicial complexes offer a middle ground, with a rich theory to draw on. We develop a convolutional neural network layer on simplicial 2-complexes.

研究の動機と目的

• 構造的データ表現のためのグラフやハイパーグラフを超えた深層学習の拡張を図り、高次相互作用を捉える単体複体を用いること。
• 境界作用素および余境界作用素を用いて、単体2複体上での微分可能な畳み込み層を構築すること。
• 画像分類への応用を通じて、単体複体の有用性を実証すること。
• 制御されたアブレーションスタディを通じて、単体層の性能を標準的およびグラフ畳み込みネットワークと比較すること。
• 高次構造を組み込むことで、構造的データにおける一般化性能および表現学習が向上することを示すこと。

提案手法

• 各面次元 $k = 0,1,2$ に対して特徴行列 $X_k$ を定義し、頂点、辺、三角形に信号を符号化する。
• 境界作用素 $\partial_k$ 及びその随伴作用素 $\partial_k^*$ を用いて、$k$-ラプラシアン $\mathbf{L}_k = \mathbf{B}_k^*\mathbf{B}_k + \mathbf{B}_{k+1}\mathbf{B}_{k+1}^*$ を構築し、グラフラプラシアンを一般化する。
• 次数行列 $\widetilde{\mathbf{D}}_k$ を用いた正規化を施し、$\widetilde{\mathbf{D}}_2 = \max(\operatorname{diag}(|\mathbf{B}_1|\mathbf{1}), \mathbf{I})$ および $\widetilde{\mathbf{D}}_3 = \mathbf{I}$ とすることで、安定なメッセージパッシングを保証する。
• 特徴を複体全体にわたって伝搬するために、畳み込み層は $\mathbf{L}_k^{-1/2} \mathbf{X}_k \mathbf{W}_k$ を適用し、各次元ごとに学習可能な重み行列 $\mathbf{W}_k$ を用いる。
• 異なる面次元からの特徴行列を層間で連結し、下流タスク用の統一された表現 $X_k^{[0:H]}$ を構築する。
• 画像を滑らかウィンドウを用いて単体2複体にエンコードすることで、MNIST上でアーキテクチャを評価する。ゼロ次元の面は $k\times k$ パッチとして定義され、高次元の面は隣接関係によって構築される。

実験結果

リサーチクエスチョン

• RQ1 グラフやハイパーグラフと比較して、構造的データ表現において単体複体がより表現力のある誘導バイアスを提供できるか？
• RQ2 単体複体による高次関係の組み込みが、画像分類における学習性能に与える影響は何か？
• RQ3 単体複体上に特化した畳み込み層は、ベンチマークタスクにおいて標準的およびグラフ畳み込みネットワークを上回る性能を発揮するか？
• RQ4 正規化スキームの選択が、単体畳み込み層の安定性および性能に与える影響は何か？
• RQ5 従来の2次元畳み込み層と単体フレームワークを効果的に統合できるハイブリッドアーキテクチャを構築できるか？

主な発見

• 単体2複体畳み込みニューラルネットワークは、MNISTで91.10% ± 0.40の精度を達成し、単一の2次元畳み込み層を用いたベースラインモデル（87.40% ± 0.70）を顕著に上回った。
• グラフ畳み込み層を追加すると、性能はわずかに87.42% ± 0.59に向上したが、これは標準畳み込みに比べてグラフレベルのモデリングがわずかに有利であることを示している。
• 単体モデルがグラフベースラインを上回ったことから、三角形（高次相互作用）をモデル化することで、画像データに対してより強い誘導バイアスが得られることを示している。
• アブレーションスタディの結果、標準的1次元畳み込みを用いた場合でも、単体層が表現学習に有意に寄与していることが確認された。
• 結果は最先端ではないが、統計的に有意であり、単体複体が今後の幾何的深層学習の有望な方向性を提供していることが示唆される。