[论文解读] Equivariance Through Parameter-Sharing

Siamak Ravanbakhsh, Jeff Schneider+1 more|arXiv (Cornell University)|Feb 27, 2017

Gaussian Processes and Bayesian Inference参考文献 23被引用 106

一句话总结

该论文表明，通过设计参数共享来实现神经网络层对离散群作用的同构性，可以通过一个着色双分图，其自同构群与所需的对称性相匹配来实现。

ABSTRACT

We propose to study equivariance in deep neural networks through parameter symmetries. In particular, given a group $\mathcal{G}$ that acts discretely on the input and output of a standard neural network layer $ϕ_{W}: \Re^{M} o \Re^{N}$, we show that $ϕ_{W}$ is equivariant with respect to $\mathcal{G}$-action iff $\mathcal{G}$ explains the symmetries of the network parameters $W$. Inspired by this observation, we then propose two parameter-sharing schemes to induce the desirable symmetry on $W$. Our procedures for tying the parameters achieve $\mathcal{G}$-equivariance and, under some conditions on the action of $\mathcal{G}$, they guarantee sensitivity to all other permutation groups outside $\mathcal{G}$.

研究动机与目标

• 通过参数共享而非仅数据增强来编码神经网络中的域对称性。
• 形式化神经网络参数对称性与对群作用的等变性之间的关系。
• 提出两种参数共享方案（稠密和稀疏）以诱导 G-equivariance。
• 给出在神经网络层中保证唯一 G-等变性的条件。

提出的方法

• 将神经网络层表示为一个带颜色的多条边的双分图 Omega，其中同色边共享参数。
• 证明当边的颜色（参数）彼此不同时时，层 phi(x; w, Omega) 对 Aut(Omega) 具有唯一的等变性，从而建立图自同构与等变性之间的联系。
• 给出一种稠密设计，使 Omega 通过 G_N,M-轨道来绑定边，确保 G_N,M-等变性。
• 引入一种稀疏设计，利用轨道和对称生成集 A，使 Aut(Omega) 包含 G_N,M，并在半规则作用下达到 Aut(Omega) = G_N,M。
• 将该方案扩展到多输入/输出，并讨论深度网络中层的组合。

实验结果

研究问题

• RQ1 离散群作用是否可以通过神经网络层中的参数共享结构来准确捕获到输入输出索引上？
• RQ2 在共享参数图中有哪些充分条件能保证唯一的 G-等变性？
• RQ3 如何构建稠密和稀疏的参数共享设计以实现给定的群作用？
• RQ4 这些设计如何扩展到多通道层和深度结构？

主要发现

• 着色双分图 Omega 可以编码参数共享，使神经网络层对 Aut(Omega) 具有唯一的等变性。
• 推论：任意 Aut(Omega) 的子群 H 都会产生 H-等变性，从而实现可控的对称性保证。
• 稠密设计将 G_N,M 的作用与边的轨道颜色联系起来，确保对整个群的等变性，尽管不一定总是唯一。
• 利用轨道和对称生成集 A 的稀疏设计使 Aut(Omega) 包含 G_N,M，且在半规则性下等于 Aut(Omega)，实现潜在较少参数的唯一等变性。
• 该框架可将如群卷积、置换等变层以及基于集合的体系结构等特殊情况作为参数共享方法的实例进行涵盖。