[论文解读] Learning a Robust Representation via a Deep Network on Symmetric Positive Definite Manifolds

Zhi Gao, Yuwei Wu+2 more|arXiv (Cornell University)|Nov 17, 2017

Advanced Vision and Imaging参考文献 35被引用 5

一句话总结

本文提出一种端到端深度网络，通过非线性核聚合层、SPD矩阵变换层和向量化层，将深度卷积特征聚合为黎曼流形上的对称正定（SPD）矩阵表示。该方法在11个视觉分类数据集上达到最先进性能，在KTH-2b数据集上达到81.1%的准确率，在FGVC-aircraft数据集上达到77.8%，优于包括B-CNN在内的现有方法。

ABSTRACT

Recent studies have shown that aggregating convolutional features of a pre-trained Convolutional Neural Network (CNN) can obtain impressive performance for a variety of visual tasks. The symmetric Positive Definite (SPD) matrix becomes a powerful tool due to its remarkable ability to learn an appropriate statistic representation to characterize the underlying structure of visual features. In this paper, we propose to aggregate deep convolutional features into an SPD matrix representation through the SPD generation and the SPD transformation under an end-to-end deep network. To this end, several new layers are introduced in our network, including a nonlinear kernel aggregation layer, an SPD matrix transformation layer, and a vectorization layer. The nonlinear kernel aggregation layer is employed to aggregate the convolutional features into a real SPD matrix directly. The SPD matrix transformation layer is designed to construct a more compact and discriminative SPD representation. The vectorization and normalization operations are performed in the vectorization layer for reducing the redundancy and accelerating the convergence. The SPD matrix in our network can be considered as a mid-level representation bridging convolutional features and high-level semantic features. To demonstrate the effectiveness of our method, we conduct extensive experiments on visual classification. Experiment results show that our method notably outperforms state-of-the-art methods.

研究动机与目标

• 为有效聚合高维深度卷积特征以提升视觉表征质量，解决该挑战。
• 克服线性特征聚合方法（如双线性池化和VLAD）的局限性，后者无法有效建模高维特征中的复杂非线性关系。
• 设计一种深度学习框架，端到端地直接从卷积特征学习判别性SPD矩阵表征。
• 通过利用黎曼几何处理SPD矩阵，提升模型鲁棒性与泛化能力，尤其在协方差矩阵趋于奇异的情况下。
• 证明非线性SPD聚合相较于线性和欧氏基聚合技术在视觉分类任务中的优越性。

提出的方法

• 引入非线性核聚合层，利用可微核函数（如RBF、多项式和拉普拉斯核）将卷积特征直接映射为实对称正定（SPD）矩阵。
• 采用带有可学习参数的SPD矩阵变换层，将初始SPD矩阵映射为更紧凑且更具判别性的表征，同时保持黎曼流形结构。
• 应用向量化与归一化层以减少冗余并加速收敛，确保与标准深度学习优化方法的兼容性。
• 利用黎曼优化技术，包括正交Stiefel流形上的重投影（retraction），实现SPD层的反向传播。
• 采用快速矩阵运算加速前向与反向传播，确保深度网络中的计算效率。
• 在SPD聚合前，集成1×1卷积层与主成分分析（PCA）进行最终卷积特征的降维，提升特征质量与性能。

实验结果

研究问题

• RQ1 深度网络能否通过将特征建模为黎曼流形上的SPD矩阵，有效学习非线性且鲁棒的卷积特征表征？
• RQ2 基于核函数的非线性聚合方法与双线性池化或VLAD等线性方法相比，在捕捉复杂特征关系方面表现如何？
• RQ3 SPD矩阵变换层在视觉分类任务中，对提升判别能力与泛化性能的贡献程度如何？
• RQ4 所提出的结合黎曼优化的端到端框架是否优于现有最先进特征聚合技术？
• RQ5 设计选择（如1×1卷积与核函数选择）在不同数据集上的性能影响如何？

主要发现

• 所提方法在KTH-2b数据集上达到81.1%的top-1准确率，显著优于B-CNN（79.7%）与纯VGG-16。
• 在FGVC-aircraft数据集上，准确率达到77.8%，超越B-CNN的74.3%与VGG-16的基线表现。
• 与无变换的基线相比，SPD矩阵变换层在DTD数据集上提升1.8%，在FGVC-aircraft数据集上提升1.1%。
• 1×1卷积层在所提SPD聚合框架中具有积极作用，但在B-CNN与纯VGG-16中则具有负面影响或无效，表明其作用具有SPD框架特异性。
• 该方法在多样化数据集上表现出强泛化能力，尤其在细粒度分类与动作识别任务中表现优异，凸显非线性关系建模的重要性。
• 采用512通道1×1卷积的核聚合层优于其他配置，尤其在FGVC-aircraft与KTH-2b等细粒度数据集上表现更优。