[论文解读] CLIP-Dissect: Automatic Description of Neuron Representations in Deep Vision Networks

Tuomas Oikarinen, Tsui-Wei Weng|arXiv (Cornell University)|Apr 23, 2022

Cell Image Analysis Techniques被引用 9

一句话总结

CLIP-Dissect 是一种无需训练、与模型无关的方法，利用预训练的视觉-语言模型（如 CLIP）自动描述深度视觉神经网络中单个神经元的功能概念。该方法在标注最终层神经元方面达到最先进准确率，且速度比之前的方法快逾10倍，可在4分钟内完成对 ResNet-50 中所有神经元的快速分析。

ABSTRACT

In this paper, we propose CLIP-Dissect, a new technique to automatically describe the function of individual hidden neurons inside vision networks. CLIP-Dissect leverages recent advances in multimodal vision/language models to label internal neurons with open-ended concepts without the need for any labeled data or human examples. We show that CLIP-Dissect provides more accurate descriptions than existing methods for last layer neurons where the ground-truth is available as well as qualitatively good descriptions for hidden layer neurons. In addition, our method is very flexible: it is model agnostic, can easily handle new concepts and can be extended to take advantage of better multimodal models in the future. Finally CLIP-Dissect is computationally efficient and can label all neurons from five layers of ResNet-50 in just 4 minutes, which is more than 10 times faster than existing methods. Our code is available at https://github.com/Trustworthy-ML-Lab/CLIP-dissect. Finally, crowdsourced user study results are available at Appendix B to further support the effectiveness of our method.

研究动机与目标

• 解决现有神经元解释方法依赖昂贵的人工标注数据集进行概念检测的局限性。
• 实现在无需固定概念集或像素级标注的前提下，对神经元表征进行自动、开放式的标签化。
• 开发一种计算高效且灵活的方法，可扩展至大规模模型，并适应未来的多模态模型。
• 揭示神经网络表征的结构洞见，例如连接权重大小与概念相似性之间的关系。

提出的方法

• CLIP-Dissect 利用预训练的 CLIP 模型，将输入图像和神经元激活模式嵌入到共享的文本-图像嵌入空间中。
• 对于每个神经元，识别其激活最高的图像，并利用 CLIP 生成关于该神经元功能的开放式文本描述。
• 通过计算 CLIP 嵌入的神经元激活模式与 CLIP 嵌入的文本提示之间的相似度，找出语义最匹配的概念标签。
• 该方法完全基于推理，无需微调或训练数据，因此具备模型无关性且可扩展。
• 利用 top-k 激活统计量选择每个神经元的代表性图像，从而增强对噪声和异常值的鲁棒性。
• 该方法可扩展至新概念，并能随着更优视觉-语言模型的出现而进一步增强。

实验结果

研究问题

• RQ1 能否使用像 CLIP 这类视觉-语言模型，在无需任何标注数据或人工标注概念的前提下，自动描述神经元的功能？
• RQ2 当使用已知真实标签的概念对最终层神经元进行标注时，CLIP-Dissect 与 Network Dissection 和 MILAN 等现有方法相比，准确率如何？
• RQ3 在深度网络中，连接权重的大小与神经元概念语义相似性之间的相关性有多大？
• RQ4 CLIP-Dissect 是否能检测到传统探测数据集（如 Broden）中缺失的概念？
• RQ5 与现有神经元解释技术相比，CLIP-Dissect 的计算效率如何？

主要发现

• 在存在真实标签的情况下，CLIP-Dissect 在标注最终层神经元方面准确率高于 Network Dissection 和 MILAN。
• 该方法仅用4分钟即可完成对 ResNet-50 中五个层的所有神经元的标注，速度比现有方法快逾10倍。
• 神经元连接权重的大小与所编码概念的语义相似性之间存在显著相关性（r = 0.258，p < 10−300）。
• 通过高权重连接的神经元通常代表非常相似的概念，表明最终层表征已具备高度局部化和语义一致性。
• 该方法成功检测到 Broden 数据集中未包含的概念，证明其能够超越固定概念集进行泛化。
• CLIP-Dissect 使我们得以获得关于网络架构的新洞见，例如观察到高权重连接通常连接编码相似概念的神经元。