[论文解读] Choose Your Neuron: Incorporating Domain Knowledge through Neuron-Importance

Ramprasaath R. Selvaraju, Prithvijit Chattopadhyay+5 more|arXiv (Cornell University)|Aug 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 5被引用 5

一句话总结

本文提出了一种零样本学习方法——神经元重要性感知权重迁移（NIWT），该方法将领域知识（例如属性、描述）映射到预训练卷积神经网络中的显著神经元，通过优化分类器权重使其与预测的神经元重要性对齐，从而实现对未见类别的准确分类。该方法在CUB和AWA2基准上取得了最先进性能，并通过学习到的神经元名称和激活图提供了可解释的视觉与文本解释。

ABSTRACT

Individual neurons in convolutional neural networks supervised for image-level classification tasks have been shown to implicitly learn semantically meaningful concepts ranging from simple textures and shapes to whole or partial objects - forming a "dictionary" of concepts acquired through the learning process. In this work we introduce a simple, efficient zero-shot learning approach based on this observation. Our approach, which we call Neuron Importance-AwareWeight Transfer (NIWT), learns to map domain knowledge about novel "unseen" classes onto this dictionary of learned concepts and then optimizes for network parameters that can effectively combine these concepts - essentially learning classifiers by discovering and composing learned semantic concepts in deep networks. Our approach shows improvements over previous approaches on the CUBirds and AWA2 generalized zero-shot learning benchmarks. We demonstrate our approach on a diverse set of semantic inputs as external domain knowledge including attributes and natural language captions. Moreover by learning inverse mappings, NIWT can provide visual and textual explanations for the predictions made by the newly learned classifiers and provide neuron names. Our code is available at https://github.com/ramprs/neuron-importance-zsl.

研究动机与目标

• 解决深度网络在缺乏标注样本的情况下无法泛化到未见类别的问题。
• 将抽象的类别描述（如属性、描述）与深层网络中语义明确且可解释的神经元进行对齐。
• 通过预测对分类最重要的神经元，实现对未见类别的有效权重迁移。
• 通过从神经元重要性到语言概念的逆映射学习，提供可解释的说明——包括视觉、文本和神经元命名。
• 在广义零样本学习（GZSL）设置下提升性能，即同时评估已见和未见类别。

提出的方法

• 该方法利用已见类别的图像及其对应的知识，学习从类别特定的领域知识（如属性、描述）到神经元重要性分数的映射。
• 通过基于梯度的显著性图（如Grad-CAM）计算神经元重要性，以识别对特定类别预测贡献最大的神经元。
• 学习到的函数 $ W_{a\rightarrow{\cal K}} $ 将属性向量 $ \mathbf{a}_c $ 映射到最相关的top-k神经元名称 $ \mathbf{k}_c $，实现无需人工标注的自动神经元命名。
• 对于未见类别，利用领域知识预测重要神经元集合，并优化分类器权重以最大化这些神经元对目标类别的激活。
• 从神经元重要性到语言概念的逆映射使得通过检索与预测最相关的属性，实现可靠的文本解释。
• 该方法利用预训练的卷积神经网络，仅微调新增的分类器头，因此高效且具备可迁移性。

实验结果

研究问题

• RQ1 能否有效将属性或自由形式的描述等领域知识映射到深层网络中的单个神经元，以支持零样本分类？
• RQ2 神经元的重要性能否作为语言描述与未见类别分类器权重之间的桥梁？
• RQ3 将预测基于神经元级别的语义是否能提升标准基准上的零样本泛化性能？
• RQ4 所学习的映射能否为未见类别的预测提供忠实、可解释的说明——包括视觉、文本和神经元命名？
• RQ5 与先前方法相比，该方法在更贴近现实的广义零样本学习（GZSL）设置下的表现如何？

主要发现

• NIWT在CUBirds和AWA2的广义零样本学习基准上取得了最先进性能，优于现有方法。
• 在使用VGG-16网络时，该方法在CUB数据集的top-k文本解释中捕捉了83.9%的真值属性，表明其在生成解释方面具有高度保真度。
• 定性结果表明，Grad-CAM可视化和神经元激活图能精确聚焦于与预测类别对应的判别性属性（如“红色头顶”、“白色胸部”）。
• 神经元名称为自动生成且与视觉概念高度契合，高影响力神经元会激活于特定的、语义明确的图像区域，如鸟喙、翅膀或颜色斑块。
• 失败案例显示，误分类通常源于对非判别性属性的错误关注或神经元激活不匹配，表明解释可帮助诊断模型错误。
• 从神经元重要性到语言概念的逆映射支持了可靠的文本解释，能够反映模型对未见类别预测的推理过程。