[论文解读] Equivariant Transformer Networks

Kai Sheng Tai, Peter Bailis+1 more|arXiv (Cornell University)|Jan 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用 33

一句话总结

tldr: 等变换 Transformer (ET) 层通过规范坐标将领域不变性引入到图像到图像映射中，使其对预定义的变换组具有自洽性，从而在最小参数开销下提升鲁棒性和样本效率；ET 相较于标准 ST 层在投射畸变上表现更好，并且在保持精度的同时可以减小网络规模。

ABSTRACT

How can prior knowledge on the transformation invariances of a domain be incorporated into the architecture of a neural network? We propose Equivariant Transformers (ETs), a family of differentiable image-to-image mappings that improve the robustness of models towards pre-defined continuous transformation groups. Through the use of specially-derived canonical coordinate systems, ETs incorporate functions that are equivariant by construction with respect to these transformations. We show empirically that ETs can be flexibly composed to improve model robustness towards more complicated transformation groups in several parameters. On a real-world image classification task, ETs improve the sample efficiency of ResNet classifiers, achieving relative improvements in error rate of up to 15% in the limited data regime while increasing model parameter count by less than 1%.

研究动机与目标

• 利用领域变换不变性的先验知识来提高神经网络的鲁棒性。
• 开发一种可微分的层族，使其对预定义的连续变换群保持不变性。
• 通过堆叠 ET 层实现多种变换不变性的组合。
• 在真实世界和合成图像任务上展示样本效率和精度的实际提升。

提出的方法

• 引入使用给定变换群 G 的规范坐标以实现自洽性的等变换 Transformer（ET）层。
• 定义一个ET层 L_{G,ρ}(φ) = T^{-1}_{f_{ρ}(φ)} φ，其中 f_{ρ} 是在规范坐标 ρ 中的自洽位姿预测器。
• 通过特征线方法求解一阶偏微分方程来为李群构建规范坐标 ρ。
• 堆叠 ET 层以处理多变换群的组合，当单一的 ρ 不能捕捉所有参数时。
• 实现惰性重采样以在堆叠 ET 层时避免重复插值，并对坐标变换应用双线性插值。

实验结果

研究问题

• RQ1 如何利用李群的规范坐标来在神经网络中实现对连续变换的不变性？
• RQ2 在高变换任务上，与 Spatial Transformers 相比，等变换 Transformer 层是否能提升鲁棒性和样本效率？
• RQ3 在实践中堆叠 ET 层对多参数变换群的有效性如何？
• RQ4 实现 ET 层时在尽量减小插值伪影方面有哪些实际考虑？

主要发现

• ET 层通过结构上实现局部不变性，将变换轨道坍缩到规范表示。
• 在 Projective MNIST 上，使用 log-polar 坐标和变换的 ET 相对于标准 ST 与笛卡尔 CNN 基线，在变换样本数量变化时表现更好。
• 在 SVHN 类任务的有限数据情形下，ET 相对于基线在相对错误率方面提升可达 15%。
• 带 ET 层的 ResNet-10 的准确性可超过不带 ET 的更大规模的 ResNet-34，同时降低内存和计算成本。
• 堆叠 ET 层为多参数变换群提供实际效益，提升鲁棒性超越单参数规范坐标。