[论文解读] Don't trust your eyes: on the (un)reliability of feature visualizations

Robert Geirhos, R. Zimmermann+3 more|arXiv (Cornell University)|Jun 7, 2023

Cell Image Analysis Techniques被引用 4

一句话总结

本文通过展示‘欺骗电路’可操纵特征可视化，使其显示任意且无意义的图案，同时保持模型在自然图像上的准确率，挑战了神经网络中特征可视化结果的可靠性。作者证明，特征可视化与自然图像的处理方式存在本质差异，削弱了其用于解释网络行为的可信度，并提供了理论证明：仅极少数函数能通过标准方法可靠可视化，呼吁采用结构化网络设计以提升可解释性。

ABSTRACT

How do neural networks extract patterns from pixels? Feature visualizations attempt to answer this important question by visualizing highly activating patterns through optimization. Today, visualization methods form the foundation of our knowledge about the internal workings of neural networks, as a type of mechanistic interpretability. Here we ask: How reliable are feature visualizations? We start our investigation by developing network circuits that trick feature visualizations into showing arbitrary patterns that are completely disconnected from normal network behavior on natural input. We then provide evidence for a similar phenomenon occurring in standard, unmanipulated networks: feature visualizations are processed very differently from standard input, casting doubt on their ability to "explain" how neural networks process natural images. This can be used as a sanity check for feature visualizations. We underpin our empirical findings by theory proving that the set of functions that can be reliably understood by feature visualization is extremely small and does not include general black-box neural networks. Therefore, a promising way forward could be the development of networks that enforce certain structures in order to ensure more reliable feature visualizations.

研究动机与目标

• 调查特征可视化——一种广泛用于解释神经网络行为的技术——是否可被系统性欺骗。
• 基于特征可视化与自然图像在处理方式上的差异，开发一种用于验证特征可视化可靠性的合理性检查方法。
• 提供理论证据，证明仅极少数函数能通过标准方法可靠可视化。
• 推动设计具备结构归纳偏置的神经网络架构，以确保可视化结果更具可信度。

提出的方法

• 设计并实现‘欺骗电路’——一种特殊网络模块，可在不影响自然图像上模型准确率的前提下，将特征可视化输出重定向至任意无关图案。
• 通过在修改后的Inception-V1和ResNet-50中引入此类电路，证明可视化结果可被完全控制。
• 通过比较自然图像与特征可视化在神经网络中的处理路径，执行合理性检查，揭示其内部表征存在显著差异。
• 理论分析证明，即使在温和假设下，可通过激活最大化可靠可视化内部表征的函数集合也极为有限。
• 通过实证比较表明，特征可视化与自然输入在内部表征上激活方式不同，暗示其无法反映网络的真实归纳偏置。
• 提出未来可解释性研究应聚焦于设计具备强制结构先验的网络架构，以提升可视化可靠性。

实验结果

研究问题

• RQ1 能否在保持自然数据上模型准确率的前提下，故意操纵特征可视化，使其显示任意且无关的图案？
• RQ2 在标准神经网络中，特征可视化与自然图像在内部处理路径上存在哪些本质差异？
• RQ3 在解释通用深度神经网络时，特征可视化可靠性的理论限制是什么？
• RQ4 基于处理路径差异的简单合理性检查，能在多大程度上检测出不可靠的可视化结果？
• RQ5 能否通过架构设计选择克服激活最大化方法的理论局限？

主要发现

• 通过欺骗电路，特征可视化可被操纵以显示任意图案（如《蒙娜丽莎》），同时网络在ImageNet上的原始准确率保持不变。
• 即使在未修改的网络中，特征可视化与自然图像的处理路径也存在根本性差异，严重削弱其可解释性。
• 理论分析证明，即使在温和假设下，通过标准激活最大化方法能可靠可视化的函数集合也微乎其微。
• 实证结果表明，特征可视化与自然图像激活了不同的内部表征，说明二者无法反映相同的归纳偏置。
• 所提出的合理性检查检测到显著的处理差异，提示可视化结果可能不适用于机制性解释。
• 研究结果表明，未来可解释性方法必须建立在具备强制结构归纳偏置的网络架构之上，以确保可视化结果的可靠性。