[论文解读] A deep convolutional neural network that is invariant to time rescaling

Brandon G. Jacques, Zoran Tiganj+3 more|arXiv (Cornell University)|Jul 9, 2021

Music and Audio Processing参考文献 25被引用 4

一句话总结

该论文提出SITHCon，一种深度卷积神经网络，通过使用对数压缩的时间记忆实现对时间缩放的不变性，将时间缩放转化为对数时间中的平移。与标准的时间卷积网络（TCNs）不同，SITHCon在不重新训练的情况下，能够稳健地泛化于10倍范围的时间缩放，利用数学性质log(at) = log(a) + log(t)。

ABSTRACT

Human learners can readily understand speech, or a melody, when it is presented slower or faster than usual. Although deep convolutional neural networks (CNNs) are extremely powerful in extracting information from time series, they require explicit training to generalize to different time scales. This paper presents a deep CNN that incorporates a temporal representation inspired by recent findings from neuroscience. In the mammalian brain, time is represented by populations of neurons with temporal receptive fields. Critically, the peaks of the receptive fields form a geometric series, such that the population codes a set of temporal basis functions over log time. Because memory for the recent past is a function of log time, rescaling the input results in translation of the memory. The Scale-Invariant Temporal History Convolution network (SITHCon) builds a convolutional layer over this logarithmically-distributed temporal memory. A max-pool operation results in a network that is invariant to rescalings of time modulo edge effects. We compare performance of SITHCon to a Temporal Convolution Network (TCN). Although both networks can learn classification and regression problems on both univariate and multivariate time series f(t), only SITHCon generalizes to rescalings f(at). This property, inspired by findings from contemporary neuroscience and consistent with findings from cognitive psychology, may enable networks that learn with fewer training examples, fewer weights and that generalize more robustly to out of sample data.

研究动机与目标

• 开发一种深度神经网络架构，使其能够泛化于时间缩放的输入，模仿人类对语音或旋律速度变化的鲁棒性。
• 解决标准时间卷积网络（TCNs）因线性时间采样而无法在时间缩放之间泛化的问题。
• 实现一种受生物启发的对数压缩时间记忆，将时间缩放转化为对数时间中的平移，从而实现尺度不变性。
• 证明通过扩展对数间隔时间基函数的范围，可以在不重新训练的情况下实现尺度不变性。
• 探索在深度网络中使用对数时间基函数进行鲁棒时间表征学习的可行性。

提出的方法

• 核心创新是尺度不变时间历史（SITH）层，该层以几何间隔采样时间上的输入信号，定义为τ̂_n = (1+c)^(n-1) τ̂_1，从而实现对数压缩。
• SITH层通过将输入信号f(t)与一组基函数φ(τ̂_n)进行卷积，计算压缩的记忆表征f̃_t[n]，从而在时间缩放下保持时间不变性。
• 网络在SITH表征之上使用标准卷积层和全连接层，输出对对数时间中的平移保持等变性。
• 数学基础依赖于恒等式log(at) = log(a) + log(t)，使得时间缩放在对数时间中转化为表征的平移，从而实现不变性。
• 通过添加更多τ̂_n点而无需重新训练，扩展了网络在大时间尺度上的泛化能力，因为权重保持不变。
• 该方法受到神经生理学证据的启发，即大脑中存在对数压缩的时间编码（例如海马体中的时间细胞），并与感知中的韦伯-费克纳定律一致。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络，在不重新训练的情况下泛化于时间缩放的输入？
• RQ2 对数压缩时间记忆如何在深度网络中实现对时间缩放的不变性？
• RQ3 SITHCon在涉及时间缩放的时间序列分类和回归任务中，相较于标准TCNs的性能优势有多大？
• RQ4 通过扩展对数间隔基函数的范围，网络能否在指数级大的时间尺度上实现泛化？
• RQ5 对数时间基函数方法在生物学上是否合理，并与已知的神经编码原理一致？

主要发现

• SITHCon在单变量和多变量时间序列任务中，对大约一个数量级的时间缩放表现出稳健的泛化能力，而标准TCNs在类似缩放下无法泛化。
• SITHCon在广泛的时间缩放范围内保持性能稳定，在测试集外缩放数据上未出现准确率下降。
• 通过简单扩展对数间隔τ̂_n点的范围，网络在不重新训练的情况下维持对时间缩放的不变性，无需重新学习权重。
• 对数压缩的时间记忆将时间缩放转化为对数时间中的平移，使网络输出保持不变。
• 在涉及时间缩放的任务中，SITHCon优于TCNs，表明对数基函数方法能够实现更鲁棒和泛化性更强的时间表征。
• 结果支持这一假设：大脑中观察到的对数压缩时间编码（例如时间细胞）为人工网络中的尺度不变时间处理提供了生物学上合理的机制。