Skip to main content
QUICK REVIEW

[论文解读] Omni-Scale CNNs: a simple and effective kernel size configuration for time series classification

Wensi Tang, Guodong Long|arXiv (Cornell University)|Feb 24, 2020
Time Series Analysis and ForecastingComputer Science被引用 54
一句话总结

引入 Omni-Scale(OS)模块,用于1D-CNN,覆盖所有感受野尺度,采用素数内核设计,在无需RF大小搜索的情况下实现了时间序列分类的最先进性能。展示在四个基准数据集上,使用紧凑模型具有强大的尺度捕捉能力。

ABSTRACT

The Receptive Field (RF) size has been one of the most important factors for One Dimensional Convolutional Neural Networks (1D-CNNs) on time series classification tasks. Large efforts have been taken to choose the appropriate size because it has a huge influence on the performance and differs significantly for each dataset. In this paper, we propose an Omni-Scale block (OS-block) for 1D-CNNs, where the kernel sizes are decided by a simple and universal rule. Particularly, it is a set of kernel sizes that can efficiently cover the best RF size across different datasets via consisting of multiple prime numbers according to the length of the time series. The experiment result shows that models with the OS-block can achieve a similar performance as models with the searched optimal RF size and due to the strong optimal RF size capture ability, simple 1D-CNN models with OS-block achieves the state-of-the-art performance on four time series benchmarks, including both univariate and multivariate data from multiple domains. Comprehensive analysis and discussions shed light on why the OS-block can capture optimal RF sizes across different datasets. Code available [https://github.com/Wensi-Tang/OS-CNN]

研究动机与目标

  • 激发在1D-CNN中为时间序列分类选择感受野大小的挑战。
  • 提出一个 Omni-Scale 模块(OS-block),使用一个简单、通用的素数大小内核规则,自动覆盖跨尺度的 RF 尺寸。
  • 展示基于 OS-block 的模型在跨数据集的统一训练设置下就能实现具竞争力或最先进的性能。
  • 提供分析说明 OS-block 如何在多样化数据集上有效捕捉到最优的 RF 尺度。

提出的方法

  • 将 OS-block 定义为三层多核结构,前两层使用素数大小内核,最后一层使用尺寸为 1 和 2 的内核。
  • 利用哥德巴赫猜想来证明通过两个素数之和可以覆盖所有偶数 RF,再扩展以覆盖目标范围内的所有 RF。
  • 计算 OS-block 路径可实现的 RF 尺度,并展示在模型规模上的效率优势(O(r^2 / log r))相对于基于奇偶性选择的内核。
  • 将 OS-block 应用于时间序列分类(TSC)作为 OS-CNN,配备全局平均池化层以及最终的全连接层进行分类。
  • 证明 OS-block 可以并行化并与其他架构(膨胀、注意力、transformers、瓶颈结构)集成。
  • 对四个 TSC 基准数据集进行实证评估,并与领先基线进行比较。

实验结果

研究问题

  • RQ1在不同时间序列数据集上,基于 OS-block 结构的 1D-CNN 是否能够在不进行显式 RF 尺寸搜索的情况下实现近似最优的 RF 覆盖?
  • RQ2一种通用的素数大小内核配置是否在来自多个领域的单变量和多变量时间序列数据集上提供鲁棒、可扩展的性能?
  • RQ3在标准 TSC 基准上,OS-block 的性能和模型大小与基于 RF 搜索的或自适应 RF 方法相比如何?

主要发现

  • OS-block 通过紧凑、统一的内核设计实现对所有 RF 尺度的覆盖(前两层为素数大小,最后一层为 1 和 2 的内核)。
  • OS-CNN 在四个时间序列基准数据集上实现了最先进的性能,同时使用显著更小的模型规模(例如所述 MEG-TLE 示例为 235k 参数)。
  • 实证分析表明 OS-CNN 的性能接近或等同于通过搜索找到的最佳 RF 尺寸的模型,体现出强大的尺度捕获能力。
  • OS-CNN 在没有显式 RF 搜索的情况下捕捉到最佳时间尺度,表明 RF 尺寸,而非特定的内核配置,在很大程度上决定性能。
  • 类别激活映射表明 OS-CNN 的关注点类似于在具有代表性数据集上针对最佳 RF 尺寸进行调优的模型。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。