[论文解读] Discovering Internal Representations from Object-CNNs Using Population Encoding

Jianyu Wang, Zhishuai Zhang+2 more|arXiv (Cornell University)|Nov 21, 2015

Advanced Neural Network Applications被引用 8

一句话总结

本文提出群体编码（population encoding），一种基于聚类的方法，能够从对象-CNN在多个层次的内部表征中提取分布式中层物体部件语义。通过分析神经元响应模式而非单个滤波器，该方法在PASCAL3D+数据集（附带关键点标注）上的验证表明，其在物体部件检测性能上优于单滤波器检测器。

ABSTRACT

In this paper, we provide a method for understanding the internal representations of Convolutional Neural Networks (CNNs) trained on objects. We hypothesize that the information is distributed across multiple neuronal responses and propose a simple clustering technique to extract this information, which we call \emph{population encoding}. The population encoding technique looks into the entrails of an object-CNN at multiple layers of the network and shows the implicit presence of mid-level object part semantics distributed in the neuronal responses. Our qualitative visualizations show that population encoding can extract mid-level image patches that are visually tighter than the patches that produce high single-filter activations. Moreover, our comprehensive quantitative experiments using the object key point annotations from the PASCAL3D+ dataset corroborate the visualizations by demonstrating the superiority of population encoding over single-filter detectors, in the task of object-part detection. We also perform some preliminary experiments where we uncover the compositional relations between the adjacent layers using the parts detected by population encoding clusters. Finally, based on the insights gained from this work, we point to various new directions which will enable us to have a better understanding of the CNN's internal representations.

研究动机与目标

• 理解物体-CNN内部表征如何编码中层物体部件语义。
• 解决单滤波器激活方法的局限性，后者无法捕捉神经元之间的分布式信息。
• 开发一种从集体神经元响应中提取有意义且视觉紧凑的物体部件区域的方法。
• 利用带标注的关键点数据，定量评估群体编码在物体部件检测中的有效性。
• 通过检测到的部件探索相邻网络层之间的组合关系。

提出的方法

• 群体编码对训练好的物体-CNN中多个滤波器和层次的神经元响应进行聚类，以识别物体部件的分布式表征。
• 该方法识别出能协同激活一组滤波器的图像区域，而非依赖于单个高激活滤波器。
• 在不同网络深度的特征图上应用聚类，以提取显著且语义相关的区域。
• 该方法利用PASCAL3D+数据集的关键点标注，对检测性能进行定量评估。
• 通过分析群体编码检测到的部件在连续层之间的传播与共现关系，研究层间的组合关系。
• 生成可视化结果，对比群体编码与单滤波器激活所检测到的区域在空间紧凑性和语义相关性上的差异。

实验结果

研究问题

• RQ1 多个滤波器和层次间的分布式神经元响应是否能在物体-CNN中编码中层物体部件语义？
• RQ2 群体编码在检测物体部件时，相较于单滤波器激活，是否能实现更高的空间精度？
• RQ3 通过群体编码检测到的部件在PASCAL3D+数据集中与人工标注的关键点位置在多大程度上对齐？
• RQ4 在相邻网络层之间检测到的物体部件之间存在何种组合关系？
• RQ5 群体编码能否揭示CNN内部表征中的层次化或结构性关系？

主要发现

• 群体编码成功提取出视觉上更紧凑、语义更一致的中层物体部件区域，优于单滤波器激活方法所识别的结果。
• 在PASCAL3D+数据集上的定量评估表明，群体编码在物体部件检测准确率上优于单滤波器检测器。
• 通过群体编码检测到的部件与人工标注的关键点位置高度对齐，证实了其语义相关性。
• 该方法揭示了相邻层之间的组合关系，表明深层网络中部件以分层结构组织。
• 可视化结果表明，神经元之间的分布式响应比孤立滤波器响应编码了更丰富、更具结构的语义信息。