[论文解读] DeepKSPD: Learning Kernel-matrix-based SPD Representation for Fine-grained Image Recognition

Melih Engin, Lei Wang+2 more|arXiv (Cornell University)|Nov 11, 2017

Advanced Image and Video Retrieval Techniques参考文献 10被引用 9

一句话总结

本文提出 DeepKSPD，一种端到端的深度学习框架，联合学习深度局部描述子、基于核矩阵的对称正定（SPD）表示以及分类器，用于细粒度图像识别。通过推导核矩阵的反向传播并利用 Daleckiñ-Kreın 公式处理 SPD 矩阵函数，该方法实现了最优的 SPD 表示学习，在基准数据集上达到了最先进性能。

ABSTRACT

Being symmetric positive-definite (SPD), covariance matrix has traditionally been used to represent a set of local descriptors in visual recognition. Recent study shows that kernel matrix can give considerably better representation by modelling the nonlinearity in the local descriptor set. Nevertheless, neither the descriptors nor the kernel matrix is deeply learned. Worse, they are considered separately, hindering the pursuit of an optimal SPD representation. This work proposes a deep network that jointly learns local descriptors, kernel-matrix-based SPD representation, and the classifier via an end-to-end training process. We derive the derivatives for the mapping from a local descriptor set to the SPD representation to carry out backpropagation. Also, we exploit the Daleckii-Krein formula in operator theory to give a concise and unified result on differentiating SPD matrix functions, including the matrix logarithm to handle the Riemannian geometry of kernel matrix. Experiments not only show the superiority of kernel-matrix-based SPD representation with deep local descriptors, but also verify the advantage of the proposed deep network in pursuing better SPD representations for fine-grained image recognition tasks.

研究动机与目标

• 为解决现有 SPD 表示方法中将局部描述子与核矩阵视为独立且未优化的组件所带来的局限性。
• 探索将基于核矩阵的 SPD 表示与深度局部描述子结合，而非手工设计特征时的潜力。
• 开发一种可端到端训练的深度神经网络，联合优化局部描述子、基于核矩阵的 SPD 表示以及分类器。
• 推导从局部描述子到基于核矩阵的 SPD 表示映射的闭式反向传播规则，包括黎曼几何中的矩阵对数。
• 利用 Daleckiñ-Kreın 公式统一 SPD 矩阵函数的微分，实现高效且稳定的训练。

提出的方法

• 提出 DeepKSPD，一种深度神经网络，以端到端方式联合学习深度局部描述子、基于核矩阵的 SPD 表示以及分类器。
• 使用预定义的核函数从深度局部描述子计算核矩阵，形成捕获非线性相关性的 SPD 矩阵。
• 通过矩阵微积分与链式法则，推导出通过核矩阵映射的解析梯度，用于反向传播。
• 应用 Daleckiñ-Kreın 公式，推导出 SPD 矩阵函数导数的统一且简洁的表达式，包括矩阵对数。
• 引入矩阵对数，将核矩阵从黎曼空间映射到欧氏空间，从而可使用标准损失函数实现有效分类。
• 采用标准反向传播方法，结合推导出的梯度，对整个网络进行端到端训练，以优化分类准确率。

实验结果

研究问题

• RQ1 基于深度局部描述子构建的核矩阵 SPD 表示是否在细粒度图像识别中优于使用传统手工描述子（如 SIFT 或 Gabor 响应）的表示？
• RQ2 端到端联合学习局部描述子、核矩阵与分类器是否能产生优于分步优化的 SPD 表示？
• RQ3 所提出的反向传播框架能否以稳定且可微的方式处理复杂 SPD 矩阵函数（如矩阵对数）？
• RQ4 基于 Daleckiñ-Kreın 定理的统一导数公式是否在深度学习中对广泛范围的 SPD 矩阵函数具有有效的微分能力？
• RQ5 将基于核矩阵的 SPD 表示集成到网络中，是否能相比最先进方法在细粒度识别基准上提升分类准确率？

主要发现

• 基于深度局部描述子构建的核矩阵 SPD 表示，显著优于使用 SIFT 或 Gabor 响应等传统描述子的相同表示方法。
• 在多个细粒度图像识别基准（包括 CUB-200-2011 和 Stanford Cars）上，DeepKSPD 在所有对比方法中取得了最高的分类准确率。
• 学习到的特征图可视化显示，在判别性物体部分（如汽车车身）上激活增强，而在无关背景区域的响应减弱。
• 所提出的反向传播框架成功处理了基于核矩阵的 SPD 表示的非线性与矩阵结构，实现了稳定端到端训练。
• 采用 Daleckiñ-Kreın 公式使得各类 SPD 矩阵函数（包括矩阵对数）的梯度推导实现统一且高效。
• 实证结果表明，联合学习描述子与 SPD 表示相比先预训练描述子再应用基于核矩阵的 SPD 表示，性能更优。