[论文解读] Fine-Grained Zero-Shot Learning with DNA as Side Information

Sarkhan Badirli, Zeynep Akata+3 more|arXiv (Cornell University)|Sep 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 20

一句话总结

本文提出将DNA作为细粒度零样本学习（ZSL）中新型的辅助信息来源，利用线粒体DNA条形码来建模类别层次结构，从而提升未见类别的分类性能。作者提出了一种基于DNA学习嵌入的分层贝叶斯模型，在大规模昆虫数据集上表现优于最先进方法，在CUB数据集上与词向量表现相当，证明了DNA作为可扩展、具有生物学基础的辅助信息，相较于视觉属性或词嵌入具有显著优势。

ABSTRACT

Fine-grained zero-shot learning task requires some form of side-information to transfer discriminative information from seen to unseen classes. As manually annotated visual attributes are extremely costly and often impractical to obtain for a large number of classes, in this study we use DNA as side information for the first time for fine-grained zero-shot classification of species. Mitochondrial DNA plays an important role as a genetic marker in evolutionary biology and has been used to achieve near-perfect accuracy in the species classification of living organisms. We implement a simple hierarchical Bayesian model that uses DNA information to establish the hierarchy in the image space and employs local priors to define surrogate classes for unseen ones. On the benchmark CUB dataset, we show that DNA can be equally promising yet in general a more accessible alternative than word vectors as a side information. This is especially important as obtaining robust word representations for fine-grained species names is not a practicable goal when information about these species in free-form text is limited. On a newly compiled fine-grained insect dataset that uses DNA information from over a thousand species, we show that the Bayesian approach outperforms state-of-the-art by a wide margin.

研究动机与目标

• 为解决在缺乏文本或形态学数据时，视觉属性或词嵌入不可行的细粒度零样本物种分类挑战。
• 探索DNA作为具有生物学基础、高度特异的辅助信息源，在ZSL中用于类别相似性建模，尤其适用于大规模、细粒度的分类群。
• 开发一种分层贝叶斯模型，利用DNA相似性为未见物种建立代理类别，从而提升对已见类别的泛化能力。
• 证明在高度细粒度、大规模ZSL设置下，基于DNA的辅助信息优于传统语义辅助信息（如词向量、WordNet）。
• 在基准数据集（CUB）和新构建的、包含超过1,000个物种的大规模昆虫数据集上验证模型，展现其鲁棒性能。

提出的方法

• 该方法使用卷积神经网络（CNN）从短的线粒体DNA序列（如COI基因）中学习DNA条形码嵌入，将其作为辅助信息。
• 提出一种分层贝叶斯模型，其中未见类别根据DNA相似性被分配到代理类别，局部先验定义了类别中心。
• 模型使用两个超参数κ₀和κ₁，分别控制代理类别中心在每个局部先验中的离散程度和实际类别中心的离散程度。
• 通过贝叶斯推断进行类别预测，图像属于某一类的概率基于其与类别中心的距离以及先验分布计算得出。
• 使用随机梯度下降进行端到端训练，目标是在最大化已见类别准确率的同时，通过基于DNA的层次结构实现对未见类别的知识迁移。
• 在CUB数据集和一个包含超过1,000个物种的新昆虫数据集上评估该方法，对比使用DNA嵌入和词向量的结果。

实验结果

研究问题

• RQ1 DNA条形码能否作为细粒度零样本学习中物种分类的可靠且有效的辅助信息来源？
• RQ2 在细粒度数据集上，基于DNA的分层贝叶斯模型与基于词向量的模型相比，零样本准确率如何？
• RQ3 在高度细粒度的分类设置下，DNA相似性在多大程度上能实现优于语义或视觉属性的类别层次建模？
• RQ4 模型性能对超参数κ₀和κ₁的敏感度如何？何种最优设置能最大化未见类别的准确率？
• RQ5 在短序列上训练的DNA嵌入能否实现与在大规模语料库上训练的词向量相媲美甚至更优的性能？

主要发现

• 在CUB数据集上，基于少于30,000条短的线粒体序列训练的DNA嵌入，实现了与在大规模语料库上训练的词向量相当的零样本分类性能。
• 在新构建的、包含超过1,000个物种的昆虫数据集上，使用DNA辅助信息的分层贝叶斯模型显著优于最先进ZSL方法，尤其在未见类别准确率方面表现突出。
• 模型性能对超参数κ₁高度敏感，当κ₁ ∈ [0.1, 1]时达到最优未见类别准确率，表明在局部先验中实际类别中心的适度离散化至关重要。
• 当κ₁过小或过大时，性能急剧下降，这是由于先验假设不切实际，凸显了合理超参数调优的重要性。
• 即使训练和测试物种互不重叠，模型在闭集分类中仍表现出鲁棒性，证明了DNA嵌入的特异性和泛化能力。
• 消融实验证实，引入基于DNA的层次结构和局部先验显著提升了性能，贝叶斯框架有效利用了生物学相似性实现知识迁移。