[论文解读] Gradient-based Training of Slow Feature Analysis by Differentiable Approximate Whitening

Merlin Schüler, Hlynur Davíð Hlynsson+1 more|arXiv (Cornell University)|Aug 27, 2018

Neural dynamics and brain function参考文献 40被引用 6

一句话总结

本文提出功率慢特征分析（PowerSFA），一种可微分、基于梯度的方法，通过可微分地近似白化过程，从高维数据中提取时间上缓慢变化的特征。该方法支持深度架构的端到端训练，以实现慢特征提取，并成功地在合成数据、自运动视觉数据以及基于图的相似性数据中学习到高质量、非冗余的不变表示。

ABSTRACT

We propose Power Slow Feature Analysis, a gradient-based method to extract temporally slow features from a high-dimensional input stream that varies on a faster time-scale, as a variant of Slow Feature Analysis (SFA) that allows end-to-end training of arbitrary differentiable architectures and thereby significantly extends the class of models that can effectively be used for slow feature extraction. We provide experimental evidence that PowerSFA is able to extract meaningful and informative low-dimensional features in the case of (a) synthetic low-dimensional data, (b) ego-visual data, and also for (c) a general dataset for which symmetric non-temporal similarities between points can be defined.

研究动机与目标

• 克服经典SFA的局限性，后者依赖于固定且手工选择的基函数，无法与深度架构实现端到端训练。
• 通过使白化步骤可微分，实现任意可微分模型在慢特征提取任务中的端到端训练。
• 证明基于梯度的SFA结合可微分白化，能够从多样化数据类型（包括时间序列和基于相似性的数据）中提取出有意义、非冗余且信息丰富的低维特征。
• 展示PowerSFA可直接从原始视觉输入中无监督地学习到不变表示（如3D环境中的位置和朝向）。
• 将SFA的适用范围从序列数据扩展至基于图的相似性结构，同时保持如方位角和仰角等解耦配置参数的特性。

提出的方法

• 提出PowerSFA，一种慢特征分析的变体，用可微分近似替代了闭式白化步骤，以支持基于梯度的优化。
• 使用小批量协方差矩阵估计来计算可微分的白化变换，支持反向传播。
• 采用梯度下降优化方法，在最小化慢度目标的同时，通过可微分白化实现非冗余性约束。
• 采用当前与前一批次协方差矩阵的凸组合以稳定训练并降低对最小批量大小的要求，尽管该方法未在主实验中使用。
• 将该方法集成到深度神经网络（如CNN）中，以从自运动视觉时间序列数据中学习慢速且不变的特征。
• 通过定义数据点之间的对称相似性，将方法推广至非时间序列数据，实现基于图的SFA与可微分白化。

实验结果

研究问题

• RQ1 可微分白化是否能够实现深度架构在慢特征提取任务中的端到端训练，从而克服经典SFA的局限性？
• RQ2 PowerSFA是否能通过基于梯度的优化，从合成时间序列数据中提取出有意义、非冗余且信息丰富的特征？
• RQ3 PowerSFA是否能从自运动视觉时间序列数据中无监督地学习到空间不变表示（如位置和朝向）？
• RQ4 该方法是否能通过利用对称相似性结构推广至非时间序列数据，同时保持如方位角和仰角等解耦配置参数？
• RQ5 可微分白化步骤是否能确保输出特征的非冗余性，无论损失函数如何，从而拓展其在无监督表示学习中的适用性？

主要发现

• PowerSFA成功从合成的低维时间序列数据中提取出慢速、信息丰富的特征，其线性特征与闭式SFA的最优解高度一致。
• 在3D环境的自运动视觉数据中，PowerSFA学习到对快速视觉旋转具有不变性的表示，并在圆柱形嵌入中捕捉到位置和朝向信息。
• 在非时间序列图像数据集中，该方法成功实现了方位角和仰角的解耦表示，且在未见配置下泛化性能良好。
• 对学习到的特征应用ICA后，模型重现了哺乳动物海马体中观察到的类似place-cell的活动模式，表明其具有生物学合理性。
• 可微分白化确保了输出特征的非冗余性，无论损失函数如何，使该方法适用于多种无监督学习范式。
• 目前该方法在输出特征数量增加时扩展性较差，受限于批量大小和协方差矩阵运算的高计算成本，尽管批量协方差混合提供了一条潜在的缓解路径。