[论文解读] DISCO: accurate Discrete Scale Convolutions

Ivan Sosnovik, Artem Moskalev+1 more|arXiv (Cornell University)|Jun 4, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

DISCO 引入了一种新颖的离散尺度卷积层，通过从第一性原理推导出最优核重标定规则，最小化尺度等变卷积神经网络中的等变性误差。它在 MNIST-Scale 和 STL-10 上实现了最先进（SOTA）的准确率，并在 Siamese 跟踪器中将推理速度提升至 2 倍，通过精确和近似解法实现尺度等变核设计，在准确率和效率上均优于先前方法。

ABSTRACT

Scale is often seen as a given, disturbing factor in many vision tasks. When doing so it is one of the factors why we need more data during learning. In recent work scale equivariance was added to convolutional neural networks. It was shown to be effective for a range of tasks. We aim for accurate scale-equivariant convolutional neural networks (SE-CNNs) applicable for problems where high granularity of scale and small kernel sizes are required. Current SE-CNNs rely on weight sharing and kernel rescaling, the latter of which is accurate for integer scales only. To reach accurate scale equivariance, we derive general constraints under which scale-convolution remains equivariant to discrete rescaling. We find the exact solution for all cases where it exists, and compute the approximation for the rest. The discrete scale-convolution pays off, as demonstrated in a new state-of-the-art classification on MNIST-scale and on STL-10 in the supervised learning setting. With the same SE scheme, we also improve the computational effort of a scale-equivariant Siamese tracker on OTB-13.

研究动机与目标

• 解决现有尺度等变卷积神经网络中因核重标定不准确而引起的等变性误差问题。
• 推导出在离散重标定时保持尺度等变性的精确与近似核卷积解法。
• 实现高粒度尺度分析，同时将等变性误差降至最低，减少视觉任务中的数据依赖性。
• 提升在分类和视觉跟踪等尺度敏感任务中的计算效率与性能。
• 提供一个通用框架，统一并扩展先前方法，包括连续重标定和基于整数膨胀的方法。

提出的方法

• 利用群论和核变换原理，推导离散尺度卷积中尺度等变性的通用约束条件。
• 在可能的情况下求解能保持等变性的精确核重标定，并在精确解不存在时计算近似解。
• 使用一组离散的尺度因子，并将核变换表述为对核基的线性操作。
• 在标准卷积神经网络架构中应用所推导的核，支持端到端训练，且架构改动极小。
• 采用尺度对比学习训练尺度估计器，无需真实尺度标签，利用图像插值作为监督信号。
• 将 DISCO 层集成到现有的 SE-CNN 中，包括 Siamese 跟踪器，且无需对特征提取器进行微调。

实验结果

研究问题

• RQ1 在离散尺度卷积中，实现精确尺度等变性的必要且充分条件是什么？
• RQ2 当精确解不存在时，如何最小化尺度卷积中的等变性误差？
• RQ3 离散尺度卷积层是否能在准确率和效率上超越连续重标定和整数膨胀方法？
• RQ4 降低等变性误差在下游任务（如分类和跟踪）中的性能提升程度如何？
• RQ5 DISCO 是否能在无尺度标注的自监督设置下实现准确的尺度估计？

主要发现

• DISCO 在 MNIST-Scale 数据集上实现了 99.78% 的新最先进准确率，超越了先前方法。
• 在 STL-10 数据集上，DISCO 在监督学习中实现了 88.9% 的 top-1 准确率，创下新 SOTA 记录。
• 基于 DISCO 的 Siamese 跟踪器在 OTB-13 上达到与 SE-SiamFC+ 相当的性能，但推理速度提升至 2 倍，达到 100 FPS 时 AUC 为 62.1%。
• DISCO 的等变性误差显著低于基于 Hermite、傅里叶、径向和 B 样条的 SE-CNN，从而实现更好的泛化能力。
• 所提方法覆盖了有限尺度集合下所有可能的 SE-CNN，可统一包含 Worrall & Welling (2019) 和 Sosnovik et al. (2019) 作为特例。
• 基于 DISCO 的自监督尺度估计模型在未见场景中泛化良好，能从未标注的自然图像中准确预测尺度场，无需任何尺度标注。