[論文レビュー] Universal approximations of permutation invariant/equivariant functions by deep neural networks

Akiyoshi Sannai, Yuuki Takai+1 more|arXiv (Cornell University)|Mar 5, 2019

Neural Networks and Applications参考文献 24被引用数 49

ひとこと要約

本論文は、有限群の作用に対する不変性および共変性の普遍近似定理を証明し、表現論を用いて G 不変/共変関数を指数的に少ないパラメータ数で近似する深層ニューラルネットワークを構築している。

ABSTRACT

In this paper, we develop a theory about the relationship between $G$-invariant/equivariant functions and deep neural networks for finite group $G$. Especially, for a given $G$-invariant/equivariant function, we construct its universal approximator by deep neural network whose layers equip $G$-actions and each affine transformations are $G$-equivariant/invariant. Due to representation theory, we can show that this approximator has exponentially fewer free parameters than usual models.

研究の動機と目的

• 置換不変性/共変性を尊重するニューラルネットワークの研究を動機づける。
• 有限群に対する不変/共変の普遍近似定理を確立する。
• 表現論を用いて不変/共変アーキテクチャのパラメータ効率を定量化する。

提案手法

• 有限群作用の下で、対象を対称群への埋め込みを介して G 不変ネットワークおよび G 共変ネットワークを定義する。
• Kolmogorov–Arnold 表現を活用して不変関数を近似するネットワークを構築する。
• G-共変写像は安定化子部分群と不変成分を用いて表現できることを証明する。
• 不変/共変ネットワークの自由パラメータ数が標準ネットワークより指数的に小さいことを示す。

実験結果

リサーチクエスチョン

• RQ1 すべての連続的な G-共変関数は ReLU 活性化を用いた G-共変ニューラルネットワークによって一様に近似できるか？
• RQ2 安定化子部分群を用いて G-共変近似を不変近似に還元するにはどうするか？
• RQ3 有限群における不変/共変ネットワークと通常のネットワークとのパラメータ数の比較はどうなるか？
• RQ4 構成は対称群 S_n に特化するとどうなり、既存の不変/共変アーキテクチャとどのように関係するか？

主な発見

• 任意の有限群 G に対して不変/共変の普遍近似定理が確立されている。
• G = S_n の場合、共変近似器は Zaheer et al. (2017) のような置換共変モデルと密接に一致する。
• 不変/共変モデルの自由パラメータ数は、置換の結合作用下で通常のモデルより指数的に小さい。
• 構成的手法は G-共変関数近似を安定化子不変成分へ還元する。
• このアプローチは表現論を用いて幅と深さを制限し、パラメータ効iciency を正当化する。