[论文解读] Large-Scale Zero-Shot Image Classification from Rich and Diverse Textual Descriptions

Sebastian Bujwid, Josephine Sullivan|arXiv (Cornell University)|Mar 17, 2021

Multimodal Machine Learning Applications参考文献 24被引用 7

一句话总结

本文提出将维基百科文章用作ImageNet上零样本图像分类的丰富文本描述，表明即使使用像DeViSE这样简单的模型，其性能也优于依赖类别名称词嵌入的最先进方法。其主要贡献是构建了ImageNet-Wiki这一新数据集，将ImageNet类别与其维基百科文章相链接，使top-5准确率提升至50.50%，较之前工作提高12个百分点，凸显了数据质量在零样本学习中比算法创新更为重要。

ABSTRACT

We study the impact of using rich and diverse textual descriptions of classes for zero-shot learning (ZSL) on ImageNet. We create a new dataset ImageNet-Wiki that matches each ImageNet class to its corresponding Wikipedia article. We show that merely employing these Wikipedia articles as class descriptions yields much higher ZSL performance than prior works. Even a simple model using this type of auxiliary data outperforms state-of-the-art models that rely on standard features of word embedding encodings of class names. These results highlight the usefulness and importance of textual descriptions for ZSL, as well as the relative importance of auxiliary data type compared to algorithmic progress. Our experimental results also show that standard zero-shot learning approaches generalize poorly across categories of classes.

研究动机与目标

• 探究是否可以利用维基百科提供的丰富且多样的文本描述来提升ImageNet上的零样本学习（ZSL）性能。
• 评估在大规模、多样化数据集上，辅助数据类型与算法进步在ZSL中的相对影响。
• 解决ZSL模型在未见类别广义类别（如动物或植物）上泛化能力差的问题。
• 发布一个新的基准数据集ImageNet-Wiki，以促进视觉-语言表征学习领域的未来研究。

提出的方法

• 通过将ImageNet的1,000个类别分别匹配至其对应的维基百科文章，构建了ImageNet-Wiki，形成一个大规模、多样化的文本描述数据集。
• 使用现成的预训练语言模型（如ALBERT-xxlarge、GloVe、word2vec）将维基百科文章文本编码为密集嵌入向量，作为辅助数据使用。
• 在这些文本嵌入上训练一个简单的DeViSE模型和一个更复杂的CADA-VAE模型，以在不使用未见类别标注训练图像的情况下预测图像类别。
• 使用标准ZSL指标评估性能，包括在ImageNet-mp500测试集上的top-1和top-5准确率。
• 通过消融研究比较使用维基百科文章与使用标准类别名称作为辅助数据的性能差异。
• 分析模型混淆矩阵和文本长度影响，以理解泛化模式以及描述长度对性能的影响。

实验结果

研究问题

• RQ1 与使用标准类别名称嵌入相比，使用维基百科提供的丰富且多样的文本描述是否能显著提升ImageNet上的零样本图像分类性能？
• RQ2 辅助文本数据的质量与多样性在多大程度上超越算法创新，推动ZSL性能的提升？
• RQ3 当在某一类别上进行训练并在另一类别上测试时，ZSL模型在跨广义语义类别（如动物、植物、物体）上的泛化能力如何？
• RQ4 文本描述长度对ZSL模型性能有何影响？更长的文本是否能带来更好的区分能力？

主要发现

• 使用维基百科文章作为辅助数据，使ImageNet-mp500上的top-5准确率达到50.50%，较之前最先进模型CADA-VAE（使用类别名称嵌入）提高了12个百分点。
• 仅在维基百科文本上训练的简单DeViSE模型，其性能优于使用类别名称词嵌入的更复杂、最先进的模型。
• ZSL模型在语义类别间泛化能力较差：若在训练中排除动物类别，则在测试集中动物类别的性能显著下降。
• 即使在排除相似训练类别的测试子集上，使用维基百科文本的模型也保持了更高的性能，表明其具备更强的鲁棒性和判别能力。
• 较长的文本描述与更高的准确率相关，尽管趋势不明显，表明信息密度比长度本身更为关键。
• ImageNet-Wiki数据集能够更好地评估在多样化类别间的泛化能力，并为未来视觉-语言表征学习研究提供基础。