[论文解读] MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning

Shiming Chen, Ziming Hong+6 more|arXiv (Cornell University)|Mar 7, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

该论文提出MSDN，一种用于零样本学习的相互语义蒸馏网络，通过双向注意力机制联合学习基于属性的视觉特征与基于视觉的属性特征，以增强知识迁移。通过引入语义蒸馏损失，使两个相互注意力子网络实现协同学习，MSDN在三个基准测试上达到最先进性能，在CUB和SUN上的准确率和调和平均值分别提升了18.7%和11.0%。

ABSTRACT

The key challenge of zero-shot learning (ZSL) is how to infer the latent semantic knowledge between visual and attribute features on seen classes, and thus achieving a desirable knowledge transfer to unseen classes. Prior works either simply align the global features of an image with its associated class semantic vector or utilize unidirectional attention to learn the limited latent semantic representations, which could not effectively discover the intrinsic semantic knowledge e.g., attribute semantics) between visual and attribute features. To solve the above dilemma, we propose a Mutually Semantic Distillation Network (MSDN), which progressively distills the intrinsic semantic representations between visual and attribute features for ZSL. MSDN incorporates an attribute$ ightarrow$visual attention sub-net that learns attribute-based visual features, and a visual$ ightarrow$attribute attention sub-net that learns visual-based attribute features. By further introducing a semantic distillation loss, the two mutual attention sub-nets are capable of learning collaboratively and teaching each other throughout the training process. The proposed MSDN yields significant improvements over the strong baselines, leading to new state-of-the-art performances on three popular challenging benchmarks, i.e., CUB, SUN, and AWA2. Our codes have been available at: \url{https://github.com/shiming-chen/MSDN}.

研究动机与目标

• 为解决在已见类别上推理视觉与属性特征之间潜在语义知识的挑战，以实现向未见类别的有效迁移。
• 克服先前方法中单向注意力与全局特征对齐的局限性，这些方法无法捕捉细粒度的内在语义表征。
• 通过教师-学生风格的相互蒸馏机制，实现视觉与属性特征之间的协同学习。
• 通过双向联合学习互补的语义表征（从属性到视觉，以及从视觉到属性），提升零样本识别性能。

提出的方法

• MSDN采用两个相互注意力子网络：一个从属性→视觉注意力子网络，用于学习属性引导的视觉特征；另一个从视觉→属性注意力子网络，用于学习视觉引导的属性特征。
• 两个子网络通过语义蒸馏损失联合训练，该损失对齐其类别后验概率分布，实现相互知识蒸馏。
• 应用自校准损失以通过优化注意力图并减少噪声来提升特征质量。
• 最终的特征表示结合了两个子网络的嵌入表示，利用其互补的语义定位能力。
• 模型使用CNN主干网络（如ResNet101）进行视觉特征提取，使用预训练语言模型（如GloVe）进行语义向量表示。
• 超参数如组合系数（α₁, α₂）和损失权重（λ_cal, λ_dstill）经过调优，以平衡各部分贡献并防止过拟合。

实验结果

研究问题

• RQ1 双向注意力机制能否提升零样本学习中视觉与属性特征之间内在语义表征的发现能力？
• RQ2 两个注意力子网络之间的相互蒸馏如何提升特征表示质量与知识迁移能力？
• RQ3 在未见类别上实现最佳性能时，属性到视觉与视觉到属性注意力子网络之间的最优平衡是什么？
• RQ4 语义蒸馏损失如何促进协同学习并提升零样本识别中的泛化能力？

主要发现

• MSDN在CUB基准上达到新的最先进性能，准确率和调和平均值分别比基线提升18.7%和19.0%。
• 在SUN数据集上，MSDN的准确率和调和平均值分别比基线提升11.0%和10.8%。
• 消融研究证实，两个相互注意力子网络具有互补性：一个子网络捕捉如'尾下白色'等属性，另一个则捕捉如'形似鸡的沼泽'等其他属性。
• t-SNE可视化显示，与基线相比，MSDN在已见类和未见类中均学习到更具判别性与可迁移性的特征。
• 最优组合系数在CUB上为α₁=0.9, α₂=0.1，在SUN上为α₁=0.7, α₂=0.3，表明更强地侧重于属性到视觉注意力以获得更优性能。
• 语义蒸馏损失显著提升性能，最优损失权重为λ_cal=0.1（CUB/AWA2）和λ_cal=0.0（SUN），λ_dstill=0.001（CUB/AWA2）和0.01（SUN）。