[論文レビュー] Universal Equivariant Multilayer Perceptrons

Siamak Ravanbakhsh|arXiv (Cornell University)|Feb 7, 2020

Topological and Geometric Data Analysis参考文献 38被引用数 12

ひとこと要約

この論文は、有限群に対して等変多層パーセプトロン（MLP）の普遍性を確立し、正則群作用を伴う単一の隠れ層が普遍等変性（および不変性）に十分であることを証明する。主な貢献は、バーンサイドのマーク表を用いた群論的枠組みにより、普遍性に必要な最小の隠れ層順序に対するタイトな上限を導出し、置換群に対して従来の結果を著しく改善するとともに、隠れ層順序が $N$ の場合に等変グラフネットワークが普遍的であることを示している。

ABSTRACT

Group invariant and equivariant Multilayer Perceptrons (MLP), also known as Equivariant Networks, have achieved remarkable success in learning on a variety of data structures, such as sequences, images, sets, and graphs. Using tools from group theory, this paper proves the universality of a broad class of equivariant MLPs with a single hidden layer. In particular, it is shown that having a hidden layer on which the group acts regularly is sufficient for universal equivariance (invariance). A corollary is unconditional universality of equivariant MLPs for Abelian groups, such as CNNs with a single hidden layer. A second corollary is the universality of equivariant MLPs with a high-order hidden layer, where we give both group-agnostic bounds and means for calculating group-specific bounds on the order of hidden layer that guarantees universal equivariance (invariance).

研究の動機と目的

• 有限群作用の下で等変および不変多層パーセプトロンの普遍的近似定理を確立すること。
• 特に置換群およびアーベル群に対して、普遍等変性に必要な最小の深さ（隠れ層順序）を解明すること。
• 表現論とバーンサイドのマーク表を用いて、群に依存しないおよび群固有の隠れ層順序の上限を提供すること。
• 高次不変ネットワークおよび等変グラフネットワークの既存の普遍性結果を統合・拡張すること。
• 単一の正則隠れ層で十分であることを示し、畳み込みニューラルネットワーク（CNN）やグラフネットワークへの応用を提示すること。

提案手法

• 置換群による入力および出力集合への群作用を用いて、MLPにおける等変性および不変性を群作用の準同型写像で定義する。
• 積空間上の群作用の分解と正則軌道の同定に、バーンサイドのマーク表を適用する。
• 繰り返し積作用における減少する安定化部分群の列を解析するため、安定化部分群のコアを用いる。
• 普遍等変性のための境界 $ D \geq \log_2 |\mathcal{H}| $ を導出する。ここで $ \mathcal{H} $ は入力作用の安定化部分群である。
• マークのベクトルの単射性を用い、表の代数的演算と積空間における軌道分解を等価に結びつける。
• 正則作用および軌道分解の定理を適用し、単一の正則隠れ層が普遍的近似を保証することを証明する。

実験結果

リサーチクエスチョン

• RQ1 任意の有限群に対して、正則群作用を伴う単一の隠れ層が普遍等変性を保証できるか？
• RQ2 与えられた群に対して、普遍等変性または不変性を達成するために必要な高次隠れ層の最小順序は何か？
• RQ3 群固有の安定化構造は、等変MLPにおける普遍的近似に必要な深さ要件にどのように影響するか？
• RQ4 置換群に対して、従来の結果よりもタイトな境界を得るためにマーク表を用いることができるか？
• RQ5 隠れ層順序が $ N $ の場合に等変グラフネットワークは普遍的であり、これは過去の境界と比べてどう異なるか？

主な発見

• 等変MLPにおいて、正則群作用を伴う単一の隠れ層で十分に普遍等変性（および不変性）が達成される。
• アーベル群、特に2層のCNNに対しては、正則隠れ層のおかげで普遍的近似が無条件で保証される。
• 普遍等変性に必要な最小の隠れ層順序は $ D \geq \log_2 |\mathcal{H}| $ で抑えられ、ここで $ \mathcal{H} $ は入力作用の安定化部分群である。
• 交代群 $ \mathcal{A}_5 $ に対しては、隠れ層順序 $ D=3 $ で十分に正則軌道が生成され、一般の境界 $ D \geq 5 $ よりも改善される。
• 全対称群 $ S_N $ における普遍的不変性のための従来の境界 $ \frac{1}{2}N(N-1) $ よりも、$ D \geq \log_2 |\mathcal{H}| $ が $ N $ が大きい場合に著しく改善される。
• 等変（ハイパーグラフ）ネットワークは、隠れ層順序が $ N $ の場合に普遍的であり、マーク表を用いた分解によって確認された。