[论文解读] CLIBD: Bridging Vision and Genomics for Biodiversity Monitoring at Scale

ZeMing Gong, Austin T. Wang+5 more|arXiv (Cornell University)|May 27, 2024

Species Distribution and Climate ChangeEnvironmental Science被引用 3

一句话总结

该论文提出 BIOSCAN-CLIP，一种对比学习框架，将视觉、基因组（DNA条形码）和文本嵌入统一到共享潜在空间中，以实现可扩展的生物多样性监测。通过在图像、DNA条形码和分类学标签上联合预训练，其零样本分类准确率比单模态模型高出11%以上，实现了无需微调的鲁棒物种识别。

ABSTRACT

Measuring biodiversity is crucial for understanding ecosystem health. While prior works have developed machine learning models for taxonomic classification of photographic images and DNA separately, in this work, we introduce a multimodal approach combining both, using CLIP-style contrastive learning to align images, barcode DNA, and text-based representations of taxonomic labels in a unified embedding space. This allows for accurate classification of both known and unknown insect species without task-specific fine-tuning, leveraging contrastive learning for the first time to fuse barcode DNA and image data. Our method surpasses previous single-modality approaches in accuracy by over 8% on zero-shot learning tasks, showcasing its effectiveness in biodiversity studies.

研究动机与目标

• 解决单模态方法（仅图像或仅DNA）在生物多样性监测中细粒度物种分类的局限性。
• 在推理时仅使用图像实现零样本物种分类，通过在预训练中利用DNA和文本信息提升泛化能力。
• 创建一个统一的多模态嵌入空间，对齐视觉、基因组和分类学数据，实现可扩展、包容性的生物多样性追踪。
• 通过对比学习实现最小监督，减少对昂贵且耗时的分类学标注的依赖。
• 展示多模态预训练在捕捉物种间细微生物学差异方面的有效性。

提出的方法

• 采用类似CLIP的对比学习方法，将图像、DNA条形码和文本分类学标签嵌入对齐到共享潜在空间中。
• 在大规模数据集上进行训练，该数据集结合了来自 BIOSCAN-1M 数据集的图像、DNA条形码（如COI基因）和分类学标签。
• 使用视觉Transformer（ViT-B）和自定义DNA编码器（BS-CLIP-D）提取各模态的特定特征，再投影到共享空间。
• 应用对比损失，最大化正样本三元组（图像、DNA、文本）之间的相似性，同时最小化负样本对之间的相似性。
• 支持灵活推理：输入可以是图像或DNA条形码，通过在共享嵌入空间中进行最近邻搜索实现预测。
• 采用贝叶斯零样本学习（BZSL）协议，评估模型在已见和未见物种上的性能。

实验结果

研究问题

• RQ1 与单模态模型相比，统一的多模态嵌入空间是否能提升零样本物种分类准确率？
• RQ2 在不进行微调的情况下，DNA条形码在多大程度上能增强基于图像的分类性能？
• RQ3 对比学习在对齐跨多样化昆虫物种的视觉和基因组表示方面有多有效？
• RQ4 在图像、DNA条形码和分类学标签组合上进行预训练，是否能减少对全面或噪声分类学标注的依赖？
• RQ5 该模型在未见物种上的表现如何，特别是与仅使用文本或仅使用图像的基线模型相比？

主要发现

• 在INSECT数据集上，BIOSCAN-CLIP在贝叶斯零样本学习中的调和平均准确率达到38.1%，比最佳基线高出11%以上。
• 微调后，模型在已见物种上的准确率达到56.2%，未见物种上的准确率达到28.8%，表明其对稀有或代表性不足物种具有强大的泛化能力。
• 使用BIOSCAN-CLIP图像编码器（BS-CLIP-I）与预训练DNA编码器（BarcodeBERT）结合，在无需微调的情况下达到56.2%的已见物种准确率和22.9%的未见物种准确率。
• 在未见物种分类任务中，该模型优于BioCLIP，凸显在预训练阶段引入DNA信息相比仅依赖文本监督的优势。
• 在BIOSCAN-1M数据集（BS-1M）上进行DNA预训练显著提升了下游性能，尤其在零样本场景下表现更优。
• 共享嵌入空间支持灵活的下游应用：可仅通过图像查询DNA或分类学标签，反之亦然，且无需针对特定任务进行适配。