[论文解读] Digging Deep into the layers of CNNs: In Search of How CNNs Achieve View Invariance

Amr Bakry, Mohamed Elhoseiny+2 more|arXiv (Cornell University)|Aug 9, 2015

Advanced Neural Network Applications参考文献 23被引用 13

一句话总结

本文提出一种方法，用于量化卷积神经网络（CNN）特征空间中的视图流形结构，结果表明：预训练的CNN在大多数层中——尤其是Pool5层——保留了视图流形的几何结构，同时通过分离而非坍缩流形实现视角不变性。在姿态数据上微调可保持流形结构，而类别微调则通过将流形坍缩为一条线，在最终层增强不变性，支持DiCarlo与Cox的流形解缠假设，且无需姿态标签。

ABSTRACT

This paper is focused on studying the view-manifold structure in the feature spaces implied by the different layers of Convolutional Neural Networks (CNN). There are several questions that this paper aims to answer: Does the learned CNN representation achieve viewpoint invariance? How does it achieve viewpoint invariance? Is it achieved by collapsing the view manifolds, or separating them while preserving them? At which layer is view invariance achieved? How can the structure of the view manifold at each layer of a deep convolutional neural network be quantified experimentally? How does fine-tuning of a pre-trained CNN on a multi-view dataset affect the representation at each layer of the network? In order to answer these questions we propose a methodology to quantify the deformation and degeneracy of view manifolds in CNN layers. We apply this methodology and report interesting results in this paper that answer the aforementioned questions.

研究动机与目标

• 探究深度CNN如何在其学习的特征表示中实现视角不变性。
• 确定不变性是源于视图流形的坍缩，还是通过保留并分离流形实现。
• 使用实验分析量化视图流形在CNN各层中的结构变化。
• 考察在多视角数据集上微调对各层表征结构的影响。
• 评估预训练CNN是否通过流形结构隐式支持视角不变性与姿态估计。

提出的方法

• 作者引入一种方法，利用条件数（rcond）和子空间维度等线性代数度量，量化CNN特征空间中视图流形的形变与退化程度。
• 他们应用线性SVM、核回归和KNN，评估各层中流形的线性可分性与结构保留性。
• 分析基于两个多视角数据集（RGBD与Pascal3D+）的预训练和微调CNN展开。
• 该方法同时评估实例特定的视图流形与各层的全局物体-视角流形结构。
• 该方法利用不同层（如Pool5、FC6、FC8）的特征激活，比较微调前后流形几何结构的变化。
• 研究利用视图流形子空间的条件数来衡量退化程度与线性可分性。

实验结果

研究问题

• RQ1 学习到的CNN表征是否实现了视角不变性？如果是，其机制是什么？
• RQ2 视角不变性是通过坍缩视图流形实现，还是通过保留并分离流形实现？
• RQ3 在预训练CNN中，视角不变性在哪个层实现？
• RQ4 如何对深度CNN各层中视图流形的结构进行定量测量？
• RQ5 在多视角数据集上微调预训练CNN，会对各层的表征产生何种影响？

主要发现

• 预训练CNN在大多数层（包括FC6和Pool5）中保留了视图流形结构，表明即使未进行显式多视角训练，流形几何结构也能被维持。
• Pool5层表现出最佳的视图流形结构保留能力，优于Pool1等早期层，可能归因于更强的平移与旋转不变性。
• 视角不变性并非通过坍缩流形实现，而是通过在保留结构的同时分离各个实例流形实现，仅在最终的FC8层例外。
• 在类别损失上微调可提高FC8层的线性可分性，并将视图流形子空间维度降低至1，表明流形已坍缩为一条线，但尚未完全退化。
• 在姿态损失上微调能更好地保持流形结构，提高条件数（rcond），并使表征更趋近于假设0（未纠缠的流形）。
• 出人意料的是，类别微调在FC7、FC6和Pool5层略微提升了姿态估计性能，表明尽管目标函数中无姿态标签，早期层的视角保持能力仍得到增强。