[论文解读] Deeper Interpretability of Deep Networks

Xu Tian, Jiayu Zhan+5 more|arXiv (Cornell University)|Nov 19, 2018

Adversarial Robustness in Machine Learning参考文献 34被引用 16

一句话总结

该论文提出了一种新颖的信息论方法，用于解释卷积神经网络（CNN）中深层神经网络表征，采用受控的3D人脸生成模型以分离内在和外在的变异因素。通过将广义互信息（GCMI）和冗余度量应用于隐藏层激活，作者发现网络在形状变形上过度泛化身份表征，但对纹理变化极为敏感，且仅有一小部分中层特征对最终分类具有诊断意义。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have been one of the most influential recent developments in computer vision, particularly for categorization. There is an increasing demand for explainable AI as these systems are deployed in the real world. However, understanding the information represented and processed in CNNs remains in most cases challenging. Within this paper, we explore the use of new information theoretic techniques developed in the field of neuroscience to enable novel understanding of how a CNN represents information. We trained a 10-layer ResNet architecture to identify 2,000 face identities from 26M images generated using a rigorously controlled 3D face rendering model that produced variations of intrinsic (i.e. face morphology, gender, age, expression and ethnicity) and extrinsic factors (i.e. 3D pose, illumination, scale and 2D translation). With our methodology, we demonstrate that unlike human's network overgeneralizes face identities even with extreme changes of face shape, but it is more sensitive to changes of texture. To understand the processing of information underlying these counterintuitive properties, we visualize the features of shape and texture that the network processes to identify faces. Then, we shed a light into the inner workings of the black box and reveal how hidden layers represent these features and whether the representations are invariant to pose. We hope that our methodology will provide an additional valuable tool for interpretability of CNNs.

研究动机与目标

• 通过在生成式3D人脸模型中控制刺激变异，开发一种更深层次的CNN可解释性框架。
• 理解深度网络如何在分层结构中表征和转换视觉信息，特别是针对身份分类任务。
• 识别在10层ResNet中哪些特征（形状 vs. 纹理）对最终分类决策具有诊断意义。
• 使用信息论度量方法，将视角依赖性与视角不变性表征从隐藏层中分离。
• 通过量化信息流动与转换，使CNN能够作为大脑视觉处理的可解释模型。

提出的方法

• 在2600万张受控变异的3D渲染人脸图像上训练了一个10层ResNet，其中内在因素（身份、年龄、性别、种族、表情）和外在因素（姿态、光照、尺度、平移）均被控制。
• 对生成维度（形状顶点和纹理像素）施加有针对性的多变量噪声，以探测网络响应。
• 使用广义互信息（GCMI）识别隐藏层9.5中与输入样本和输出决策相关的特征。
• 采用冗余度量（Red）作为手段，从层9.5中分离出同时在该层和最终输出决策中共同表征的特征子集，从而识别出具有诊断意义的特征。
• 正式定义冗余度量为：Red(S;L;R) = MI(S;L) + MI(S;R) - MI(S;R,L)，其中S为输入样本，L为层响应，R为输出决策。
• 通过将层9.5中最冗余的主成分（PCs）投影到人脸重建图像上，可视化诊断特征，从而将其与非诊断特征区分开来。

实验结果

研究问题

• RQ1 在人脸身份识别过程中，深度CNN如何在分层结构中表征形状与纹理特征？
• RQ2 与人类感知相比，CNN在形状变异上对身份的过度泛化程度如何？
• RQ3 隐藏层中哪些特定特征实际被用于最终分类？如何将其从非诊断性表征中分离？
• RQ4 视角依赖性与视角不变性表征如何共存于同一隐藏层中？
• RQ5 信息论度量方法（如冗余度）是否能有效分离深度网络表征中的诊断性与非诊断性特征？

主要发现

• 网络对极端形状变形（如面部形态、性别、年龄、表情变化）表现出近乎不变性，表明其对身份的过度泛化。
• 相比之下，网络对纹理变异极为敏感，表明尽管身份变化极小，纹理特征仍主导了分类决策。
• 仅层9.5中的一小部分特征——具体而言，在Identity One中为形状的PC2和纹理的PC1，在Identity Two中为形状的PC2和纹理的PC3——与最终输出具有冗余性，表明其具有诊断相关性。
• 冗余度分析成功地从层9.5中更广泛的表征特征集中分离出诊断性特征，清晰展示了表征与决策过程之间的分离。
• 研究发现，网络中的形状特征在很大程度上具有视角依赖性，而纹理特征则更具视角不变性，这一模式在人类感知中并未观察到。
• 所提出的方法通过量化从输入到隐藏层再到输出的信息流动，实现了更深层次的可解释性，为分析深度网络中的特征选择与转换提供了一个框架。