[论文解读] Harnessing the Power of Foundation Models for Accurate Material Classification

Qingran Lin, Fengwei Yang+1 more|arXiv (Cornell University)|Mar 18, 2026

Machine Learning in Materials Science被引用 0

一句话总结

论文提出一个双流框架，将合成数据生成与视觉语言先验相结合，以提升材料分类的准确性，在 FMD、DMS-test 与 Google-test 数据集上达到最新方法水平。研究还表明合成数据在跨领域泛化方面往往优于真实的 DMS 数据。

ABSTRACT

Material classification has emerged as a critical task in computer vision and graphics, supporting the assignment of accurate material properties to a wide range of digital and real-world applications. While traditionally framed as an image classification task, this domain faces significant challenges due to the scarcity of annotated data, limiting the accuracy and generalizability of trained models. Recent advances in vision-language foundation models (VLMs) offer promising avenues to address these issues, yet existing solutions leveraging these models still exhibit unsatisfying results in material recognition tasks. In this work, we propose a novel framework that effectively harnesses foundation models to overcome data limitations and enhance classification accuracy. Our method integrates two key innovations: (a) a robust image generation and auto-labeling pipeline that creates a diverse and high-quality training dataset with material-centric images, and automatically assigns labels by fusing object semantics and material attributes in text prompts; (b) a prior incorporation strategy to distill information from VLMs, combined with a joint fine-tuning method that optimizes a pre-trained vision foundation model alongside VLM-derived priors, preserving broad generalizability while adapting to material-specific features.Extensive experiments demonstrate significant improvements on multiple datasets. We show that our synthetic dataset effectively captures the characteristics of real world materials, and the integration of priors from vision-language models significantly enhances the final performance. The source code and dataset will be released.

研究动机与目标

• 通过生成一个大规模、自动标注的合成数据集，聚焦于材料，缓解高质量材料标注稀缺的问题。
• 将视觉与语言先验进行桥接，以提升材料识别与泛化能力。
• 在保持基础模型先验的同时，通过协同微调实现对材料特征的适应性调整。

提出的方法

• 使用具有语义锚定的扩散模型生成多样化的自动标注材料图像数据集，并采用 Grounding DINO 进行区域感知标注。
• 在双流架构中，将 DINOv2 的视觉特征与通过 CLIP 编码的 GPT-4v 语言描述进行融合。
• 在合成数据上联合微调 MLP 头部，同时保持视觉与语言骨干网络冻结，以保留先验。
• 将材料分类表述为带有共同潜在空间的掩蔽视觉特征与语言嵌入的跨模态融合。
• 在 FMD（10 类）、DMS-test（21 类）和 Google-test（21 类）上进行评估，以展示跨数据集的泛化能力。

实验结果

研究问题

• RQ1 合成的、具有语义锚定的图像生成是否能够产生高质量、自动标注的材料数据集？
• RQ2 通过双流架构将视觉先验与语言先验进行整合，是否能在材料分类上超越零样本的视觉-语言模型？
• RQ3 在保持基础模型先验的同时，对头部进行联合微调对跨数据集的性能与泛化有何影响？

主要发现

• 提出的方法在 FMD 数据集上达到 89% 的准确率，在 Google-test 数据集上达到 92%，显著超越现有方法。
• 零-shot 的 CLIP 和 GPT-4v 在 DMS-test 与 Google-test 上远落后于所提方法，突出通用 VLM 对材料任务的局限性。
• 消融实验表明语言和视觉先验均有贡献，双流融合在所有数据集上都取得最佳结果。
• 在跨领域设置中，使用合成数据训练的模型在跨域场景中优于以 DMS 为数据源的基线（例如 Google-test 与 DMS-test 上 mIoU 提高到 0.46 对 0.60，FMD 上为 0.81 对 0.89）。
• 自动标注的语义引导将性能在 mIoU/mAcc 上相较非语义变体提升约 3-4 个百分点。