[论文解读] Class Normalization for (Continual)? Generalized Zero-Shot Learning

Ivan Skorokhodov, Mohamed Elhoseiny|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出了一种新型归一化技术——类别归一化（Class Normalization, CN），通过解决深度零样本学习（ZSL）模型中的方差坍塌问题，稳定了训练过程。通过结合类别层面的标准化与理论基础坚实的初始化方案，CN 使一个简单的多层感知机（MLP）在四个标准 ZSL 基准上超越了当前最先进方法，训练速度提升 50 倍，同时支持一种新的持续性 ZSL 设置，并引入了严谨的评估指标。

ABSTRACT

Normalization techniques have proved to be a crucial ingredient of successful training in a traditional supervised learning regime. However, in the zero-shot learning (ZSL) world, these ideas have received only marginal attention. This work studies normalization in ZSL scenario from both theoretical and practical perspectives. First, we give a theoretical explanation to two popular tricks used in zero-shot learning: normalize+scale and attributes normalization and show that they help training by preserving variance during a forward pass. Next, we demonstrate that they are insufficient to normalize a deep ZSL model and propose Class Normalization (CN): a normalization scheme, which alleviates this issue both provably and in practice. Third, we show that ZSL models typically have more irregular loss surface compared to traditional classifiers and that the proposed method partially remedies this problem. Then, we test our approach on 4 standard ZSL datasets and outperform sophisticated modern SotA with a simple MLP optimized without any bells and whistles and having ~50 times faster training speed. Finally, we generalize ZSL to a broader problem -- continual ZSL, and introduce some principled metrics and rigorous baselines for this new setup. The project page is located at https://universome.github.io/class-norm.

研究动机与目标

• 探究为何归一化方法（如 normalize+scale 和属性归一化）能提升 ZSL 性能，尽管该领域此前研究有限。
• 识别现有归一化方法在深层 ZSL 模型中因层间方差坍塌而失效的原因。
• 提出类别归一化（CN），一种新型归一化方案，通过类别层面标准化与理论合理的初始化实现训练稳定。
• 证明 ZSL 模型的损失曲面比标准分类器更不规则，且 CN 可缓解此问题。
• 将 ZSL 扩展至持续学习设置，并为持续性零样本学习（CZSL）建立系统化的评估指标与基线。

提出的方法

• 类别归一化（CN）在前向传播中，对每个类别使用类别原型的均值和标准差进行层内标准化。
• 采用改进的 He 风格初始化，方差按 $1/d_z \cdot 1/d_a$ 缩放，以保持信号方差在网络中的稳定性。
• 与标准 MLP 主干网络集成，无需架构修改或复杂优化方案。
• 理论分析表明，CN 能够在各层间维持方差稳定性，而 normalize+scale 或仅属性归一化则不能。
• 在四个标准 ZSL 数据集（SUN、CUB、AwA1 和 AwA2）上进行了实证验证。
• 对于持续性 ZSL，本文引入了新的评估协议与指标，用于评估基于语义属性的增量学习。

实验结果

研究问题

• RQ1 为何 normalize+scale 和属性归一化能提升 ZSL 性能？其理论基础是什么？
• RQ2 为何标准归一化技术在深层 ZSL 模型中失效？其导致方差坍塌的根本原因是什么？
• RQ3 是否一种简单的归一化方案（如类别归一化）能超越复杂 SOTA ZSL 方法，且无需额外技巧？
• RQ4 ZSL 模型的损失曲面与标准监督分类器相比如何？归一化能否改善其规则性？
• RQ5 持续性零样本学习的合适评估指标与基线是什么？如何严谨定义？

主要发现

• 类别归一化使一个原始 MLP 在四个标准 ZSL 基准上达到最先进性能，超越了如 DCN、SGAL 和 LsrGAN 等复杂 SOTA 方法。
• 在 AwA2 上，采用 CN 的模型平均准确率达到 67.6%，超过此前 SOTA 的 65.6%（SGAL）和 63.0%（LsrGAN）。
• 训练时间缩短至约 30 秒，相比 SOTA 方法耗时 50 分钟至一小时，提速达 50 至 100 倍。
• 理论分析证实，CN 通过校正初始化中的 $1/d_a$ 因子，有效保持了信号方差的层间稳定性，这对性能至关重要。
• 实证结果表明，ZSL 模型的损失曲面比标准分类器更不规则，而 CN 显著提升了曲面的规则性。
• 所提出的持续性 ZSL 设置引入了新的评估协议与基线，实现了对终身零样本学习的系统性基准测试。