[論文レビュー] A Practical Method for Constructing Equivariant Multilayer Perceptrons for Arbitrary Matrix Groups

Marc Finzi, Max Welling+1 more|arXiv (Cornell University)|Apr 19, 2021

Topic Modeling参考文献 40被引用数 25

ひとこと要約

この論文は、O(5)、O(1,3)、Sp(n)、Rubik’s cube group のようなグループを含む任意の行列群に対して、効率的な Krylov ベースの手法と双線形層を備えた一般的なアルゴリズムを用いて等変多層パーセプトロン（EMLP）を構築する一般的なアルゴリズムを開発します。

ABSTRACT

Symmetries and equivariance are fundamental to the generalization of neural networks on domains such as images, graphs, and point clouds. Existing work has primarily focused on a small number of groups, such as the translation, rotation, and permutation groups. In this work we provide a completely general algorithm for solving for the equivariant layers of matrix groups. In addition to recovering solutions from other works as special cases, we construct multilayer perceptrons equivariant to multiple groups that have never been tackled before, including $\mathrm{O}(1,3)$, $\mathrm{O}(5)$, $\mathrm{Sp}(n)$, and the Rubik's cube group. Our approach outperforms non-equivariant baselines, with applications to particle physics and dynamical systems. We release our software library to enable researchers to construct equivariant layers for arbitrary matrix groups.

研究の動機と目的

• 多様な領域に渡る任意の群対称性を尊重するニューラルネットワークの必要性を動機づけ、形式化する。
• 任意の行列群の表現間で等変な線形層を特徴づけ、構築するための完全で一般的なアルゴリズムを提供する。
• 等変基底の効率的計算とスケーラブルなネットワークアーキテクチャを提供することで実用的なデプロイを可能にする。
• 以前は実現不可能だったグループ（たとえば O(5)、O(1,3)、Sp(n)、Rubik’s cube group）でこのアプローチを実証し、使えるソフトウェアライブラリを公開する。）

提案手法

• 表現間の写像に対する等変性制約を定式化する: rho2(g) W rho1(g)^{-1} = W.
• 無限個の制約を有限な集合 O(M+D) の条件へ縮小する。ここで M は離散生成元の数、D はリー群の次元である。
• 同次系を SVD により解くことで等変基底を構築し、nullspace にある v satisfying C v = 0 を得て、等変写像を v = Q β として表現する。
• 大規模な表現行列を作成せずに基底を効率的に計算する、高速な Krylov ベースの nullspace 手順を導入する。
• ブロック構造と Kronecker 積を利用して計算を高速化し、標準的な MLP と同程度の実行時間を達成する。
• 等変線形層、ゲート付き非線形性、そして異なるテンソル表現間の縮約を可能にする安価な双線形層を用いて Equivariant MLPs (EMLP) を組み立てる。

実験結果

リサーチクエスチョン

• RQ1 任意の行列群と表現に対して等変層を構築する完全で実用的なアルゴリズムを導出できるだろうか？
• RQ2 全群を列挙せずに、大規模または連続群の等変基底を効率的に計算するにはどうすればよいか？
• RQ3 O(5)、O(1,3)、Sp(n)、および Rubik’s cube group のような群からの対称性を持つタスクにおいて、EMLP は非等変ベースラインより優れているか？
• RQ4 新しいグループに対してグループ生成元と表現を指定するだけで完全な EMLP を構築することは可能か？

主な発見

• この方法は等変性制約を O(M+D) の有限条件へ縮約し、多項式時間の解法を提供する。
• 高速な Krylov ベースのアルゴリズムが等変基底を効率的に計算し、高次元表現の実用的な取り扱いを可能にする。
• EMLP は、提案手法で構築されたもので、合成データおよび力学系タスクで非等変ベースラインを上回る。
• 同じ基盤アーキテクチャを用いて、以前は実現不可能だったグループ（O(5)、O(1,3)、Sp(n)、Rubik’s cube group）を扱うことに成功している。
• 経験的な結果はデータ効率と標準的な MLP と同等の競争力のある実行時間を示す。