[论文解读] Manifold Regularized Slow Feature Analysis for Dynamic Texture Recognition

Jie Miao, Xiangmin Xu+2 more|arXiv (Cornell University)|Jun 9, 2017

Image Retrieval and Classification Techniques参考文献 44被引用 3

一句话总结

本文提出流形正则化慢特征分析（MR-SFA）用于动态纹理识别，通过引入流形正则化，将标准SFA扩展为能够从视频序列中学习缓慢变化且局部可预测特征的方法。该方法结合卷积特征提取、池化操作与Fisher向量编码，在DynTex和DynTex++数据集上实现了最先进性能，优于传统SFA与基于CNN的方法，尤其在低分辨率、复杂动态纹理视频上表现突出。

ABSTRACT

Dynamic textures exist in various forms, e.g., fire, smoke, and traffic jams, but recognizing dynamic texture is challenging due to the complex temporal variations. In this paper, we present a novel approach stemmed from slow feature analysis (SFA) for dynamic texture recognition. SFA extracts slowly varying features from fast varying signals. Fortunately, SFA is capable to leach invariant representations from dynamic textures. However, complex temporal variations require high-level semantic representations to fully achieve temporal slowness, and thus it is impractical to learn a high-level representation from dynamic textures directly by SFA. In order to learn a robust low-level feature to resolve the complexity of dynamic textures, we propose manifold regularized SFA (MR-SFA) by exploring the neighbor relationship of the initial state of each temporal transition and retaining the locality of their variations. Therefore, the learned features are not only slowly varying, but also partly predictable. MR-SFA for dynamic texture recognition is proposed in the following steps: 1) learning feature extraction functions as convolution filters by MR-SFA, 2) extracting local features by convolution and pooling, and 3) employing Fisher vectors to form a video-level representation for classification. Experimental results on dynamic texture and dynamic scene recognition datasets validate the effectiveness of the proposed approach.

研究动机与目标

• 为解决具有复杂时间变化（如非刚性形变与时空平移）的动态纹理识别挑战。
• 克服标准慢特征分析（SFA）在面对时间复杂性时，难以直接从原始动态纹理中提取鲁棒高层表征的局限性。
• 通过整合流形正则化改进SFA，以保留时间转换中的局部性，使学习到的特征既缓慢变化又具备部分可预测性。
• 开发一种高效、低复杂度的特征提取流程，适用于低分辨率及小目标动态纹理视频，此类场景下深度学习方法效果较差。
• 利用词袋建模方法，实现对视角、尺度及时空平移不变的视频级表征。

提出的方法

• 基于每段时间转换的初始状态，构建时间转换之间的邻接关系，以建模数据流形中的局部结构。
• 应用流形正则化以约束所学习特征的变化，确保输入空间中初始状态相近的样本产生相似且缓慢变化的输出。
• 利用MR-SFA学习特征提取函数作为卷积滤波器，从视频体积中提取局部、缓慢变化的特征。
• 通过卷积与最大池化操作进行局部特征提取，以增强鲁棒性与空间不变性。
• 使用Fisher向量表示整个视频，形成紧凑且具有判别性的视频级表征。
• 采用基于高斯混合模型（GMM）的词袋模型，对局部特征分布进行建模，实现对空间与时间偏移的不变性。

实验结果

研究问题

• RQ1 流形正则化是否能提升慢特征分析在动态纹理识别中的鲁棒性与预测能力？
• RQ2 MR-SFA在多大程度上能够提取出缓慢变化且局部可预测的特征，以解决动态纹理中的复杂时间变化？
• RQ3 在基准动态纹理数据集上，MR-SFA与标准SFA及最先进方法（如CNN和LDS方法）相比表现如何？
• RQ4 在深度学习模型效果较差的低分辨率、小目标动态纹理视频上，MR-SFA能否实现具有竞争力的性能？
• RQ5 将流形正则化整合后，是否能提升使用GMM与Fisher向量进行视频表征时的聚类与分类性能？

主要发现

• MR-SFA在DynTex和DynTex++数据集上达到最先进性能，显著优于标准SFA与MBSIF-TOP方法。
• 在DynTex++数据集上，MR-SFA优于基于CNN的模型（如C3D与SA-CNN），后者在低分辨率、小目标视频上表现较弱。
• 在DynTex++数据集上，使用8个滤波器时，特征提取速度达每秒41.6帧，表明其在低分辨率视频上具有计算高效性。
• MR-SFA特征分布良好，可由少量GMM聚类有效建模，而LDS特征则具有高度非线性的参数。
• 在YUPENN数据集上性能提升较小，原因在于该数据集复杂时间过渡较少，表明MR-SFA在时间复杂度高的视频中效果最佳。
• 所提方法仅使用单个卷积层与较少滤波器即取得优异性能，凸显其高效性与低计算成本。