[论文解读] Equivariance versus Augmentation for Spherical Images

Jan E. Gerken, Oscar Carlsson+4 more|arXiv (Cornell University)|Feb 8, 2022

Medical Image Segmentation Techniques被引用 5

一句话总结

本文比较了在球面MNIST数据集上，使用旋转数据增强训练的标准非等变CNN与群等变球面CNN（S2CNNs）的性能。结果表明，尽管在旋转不变性分类任务中，数据增强可达到与S2CNN相当的性能，但在本质上具有等变性的语义分割任务中，等变网络显著优于经过数据增强的非等变模型，且在相同准确率下训练速度更快，在优化后的推理场景中延迟更低。

ABSTRACT

We analyze the role of rotational equivariance in convolutional neural networks (CNNs) applied to spherical images. We compare the performance of the group equivariant networks known as S2CNNs and standard non-equivariant CNNs trained with an increasing amount of data augmentation. The chosen architectures can be considered baseline references for the respective design paradigms. Our models are trained and evaluated on single or multiple items from the MNIST or FashionMNIST dataset projected onto the sphere. For the task of image classification, which is inherently rotationally invariant, we find that by considerably increasing the amount of data augmentation and the size of the networks, it is possible for the standard CNNs to reach at least the same performance as the equivariant network. In contrast, for the inherently equivariant task of semantic segmentation, the non-equivariant networks are consistently outperformed by the equivariant networks with significantly fewer parameters. We also analyze and compare the inference latency and training times of the different networks, enabling detailed tradeoff considerations between equivariant architectures and data augmentation for practical problems. The equivariant spherical networks used in the experiments are available at https://github.com/JanEGerken/sem_seg_s2cnn .

研究动机与目标

• 探究群等变网络在球面图像任务中是否相对于数据增强具有固有优势。
• 解决深度学习中球面数据的架构归纳偏置（等变性）与数据增强之间的权衡问题。
• 评估在旋转不变性（分类）与本质上等变性（语义分割）任务中的性能差异。
• 通过分析训练时间、推理延迟和吞吐量，评估等变与非等变模型之间的实际权衡。
• 为S2CNN提供详细的实现与理论基础，支持球面上语义分割的等变输出。

提出的方法

• 提出一种适用于任意李群G的新型群等变CNN层，推广先前工作，用于球面上的语义分割。
• 在S2CNN架构基础上增加最终层，以确保输出具有等变性，其数学证明见附录A。
• 在球面MNIST投影数据上，对标准非等变CNN进行逐步增加的旋转数据增强训练。
• 使用球面MNIST和FashionMNIST数据集的球面投影，执行分类与语义分割任务。
• 在Nvidia T4 GPU上对S2CNN与非等变CNN模型进行推理延迟与吞吐量的性能分析。
• 测量在达到相同性能水平时的总训练时间，比较仅使用未旋转数据训练的S2CNN与使用旋转数据训练的增强型非等变CNN。

实验结果

研究问题

• RQ1 在球面图像分类任务中，S2CNN的旋转等变性是否相对于非等变CNN的数据增强具有性能优势？
• RQ2 在语义分割任务中，数据增强在多大程度上能缩小非等变与等变网络之间的性能差距？
• RQ3 在相同性能水平下，S2CNN与增强型非等变CNN的训练时间与推理延迟如何比较？
• RQ4 当分割任务复杂度提高时，等变性的优势是否依然存在？
• RQ5 S2CNN的推理流水线中，性能瓶颈出现在何处？能否识别出可优化的目标？

主要发现

• 在旋转不变性分类任务中，通过大量数据增强和更大架构的非等变CNN可达到与较小S2CNN相当的性能。
• 在本质上等变的语义分割任务中，即使使用高达500万张增强训练样本，非等变模型与数据增强的组合仍持续落后于S2CNN。
• 在目标准确率约97.5%时，仅使用未旋转数据训练的S2CNN在15小时内完成训练，而增强型非等变CNN则需26小时才能达到97.49%的准确率。
• 在Nvidia T4上，S2CNN在批量大小为7时达到14.6样本/秒的吞吐量，而非等变CNN在批量大小为60时达到682样本/秒，表明存在显著的延迟差距。
• 推理性能分析显示，S2CNN中最终层的最大SO(3)张量运算为最主要的性能瓶颈，提示了可优化的目标。
• 尽管单次推理延迟更高，S2CNN在相同性能水平下的总训练时间更短，表明其在实际应用中具有更高的效率优势。