[論文レビュー] Steerable Partial Differential Operators for Equivariant Neural Networks

Erik Jenner, Maurice Weiler|arXiv (Cornell University)|Jun 18, 2021

Model Reduction and Neural Networks参考文献 27被引用数 5

ひとこと要約

本稿では、任意の群の下で正確な対称性を保存するための等変性層として、回転可能部分微分作用素（PDO）を導入する。G-回転可能制約を導出し、O(2)などの主要な群についてこれを解くことで、分布に基づくフレームワークにおいて畳み込みと微分作用素を統一する。E2CNNへのオープンソース統合と効率的な離散化により、回転等変性タスクで最先端の性能を達成する。

ABSTRACT

Recent work in equivariant deep learning bears strong similarities to physics. Fields over a base space are fundamental entities in both subjects, as are equivariant maps between these fields. In deep learning, however, these maps are usually defined by convolutions with a kernel, whereas they are partial differential operators (PDOs) in physics. Developing the theory of equivariant PDOs in the context of deep learning could bring these subjects even closer together and lead to a stronger flow of ideas. In this work, we derive a $G$-steerability constraint that completely characterizes when a PDO between feature vector fields is equivariant, for arbitrary symmetry groups $G$. We then fully solve this constraint for several important groups. We use our solutions as equivariant drop-in replacements for convolutional layers and benchmark them in that role. Finally, we develop a framework for equivariant maps based on Schwartz distributions that unifies classical convolutions and differential operators and gives insight about the relation between the two.

研究の動機と目的

• 深層学習における任意の群Gの下で対称性を保存する一般理論の開発。
• シュワーツ分布を用いたフレームワークにより、平行移動等変性で線形かつ連続な写像としての畳み込みカーネルと微分作用素を統一すること。
• O(2)の部分群を含む重要な対称性群に対して、等変PDOの完全な基底を計算する実用的手法の提供。
• 複数のタスクにおいて、標準的な回転可能CNNと比較して回転可能PDOの有効性と効率性をベンチマークすること。
• E2CNNライブラリへの拡張として回転可能PDOを実装・公開し、等変深層学習分野への広範な採用を促進すること。

提案手法

• 与えられた群Gの下でPDOが等変性を満たすための完全なG-回転可能制約を導出する。
• C_nおよびO(2)を含む主要な群について、G-回転可能制約を明示的に解き、等変PDOの閉形式表現を取得する。
• ガウス法およびRBF-FD法を用いてPDOをステンシルに離散化し、ニューラルネットワークにおける数値的実装を可能にする。
• 分布に基づくフレームワークを構築し、畳み込みと微分作用素を等変写像の特別なケースとして統一する。
• 理論をコードに実装し、E2CNNライブラリに統合することで、同じモデル内で回転可能カーネルとPDOを共同利用可能にする。
• 標準化されたアーキテクチャとハイパーパramータを用いて、MNIST-rot、STL-10、および流体流れ予測タスクでの性能をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 部分微分作用素が与えられた対称性群Gの下で等変性を満たすために満たすべき条件は何か？
• RQ2 一般的な対称性群に対して、G-等変PDOの空間を体系的にパラメータ化・計算する方法は何か？
• RQ3 回転可能PDOは、標準的な回転可能CNNと比較して、精度およびパラメータ効率の面でどの程度優れているか？
• RQ4 ガウス法やRBF-FDなどの異なる離散化スキームは、回転可能PDOの性能および安定性にどのように影響を与えるか？
• RQ5 1つの数学的フレームワークが、畳み込みカーネルと微分作用素を同じ等変性原理の下に統一できるか？

主な発見

• 著者らは、任意の対称性群に対して、特徴ベクトル場間の平行移動等変性PDOを完全に特徴付けるG-回転可能制約を導出した。
• O(2)のすべての部分群に対して、等変PDOの明示的基底が計算され、2次元等変ネットワークへの実用的導入が可能になった。
• 回転可能PDOは、同等のパラメータ数を有する標準的な回転可能CNNと同等またはそれを上回る精度を達成し、MNIST-rotで最先端の性能を示した。
• RBF-FD離散化法は、特に高階の作用素に対して、ガウスベースの離散化よりもより安定かつ正確なステンシルを生成した。
• 分布に基づくフレームワークにより、畳み込みと微分作用素が特別なケースとして統一され、特徴場間のすべての平行移動等変性で線形かつ連続な写像を捉えていることが証明された。
• 回転可能PDOの実装はE2CNNライブラリにマージされ、既存の回転可能CNNやハイブリッドアーキテクチャとのシームレスな統合が可能になった。