[논문 리뷰] Harnessing the Power of Foundation Models for Accurate Material Classification

Qingran Lin, Fengwei Yang외 1명|arXiv (Cornell University)|2026. 03. 18.

Machine Learning in Materials Science인용 수 0

한 줄 요약

이 논문은 합성 데이터 생성과 시각-언어 프라이어를 결합한 이중 스트림 프레임워크를 제안하여 재료 분류를 개선하고, FMD, DMS-test, Google-test 데이터셋에서 최첨단 성과를 달성합니다. 또한 합성 데이터가 실제 DMS 데이터보다 도메인 간 일반화에 더 잘 작용한다는 것을 보여줍니다.

ABSTRACT

Material classification has emerged as a critical task in computer vision and graphics, supporting the assignment of accurate material properties to a wide range of digital and real-world applications. While traditionally framed as an image classification task, this domain faces significant challenges due to the scarcity of annotated data, limiting the accuracy and generalizability of trained models. Recent advances in vision-language foundation models (VLMs) offer promising avenues to address these issues, yet existing solutions leveraging these models still exhibit unsatisfying results in material recognition tasks. In this work, we propose a novel framework that effectively harnesses foundation models to overcome data limitations and enhance classification accuracy. Our method integrates two key innovations: (a) a robust image generation and auto-labeling pipeline that creates a diverse and high-quality training dataset with material-centric images, and automatically assigns labels by fusing object semantics and material attributes in text prompts; (b) a prior incorporation strategy to distill information from VLMs, combined with a joint fine-tuning method that optimizes a pre-trained vision foundation model alongside VLM-derived priors, preserving broad generalizability while adapting to material-specific features.Extensive experiments demonstrate significant improvements on multiple datasets. We show that our synthetic dataset effectively captures the characteristics of real world materials, and the integration of priors from vision-language models significantly enhances the final performance. The source code and dataset will be released.

연구 동기 및 목표

• 재료에 초점을 둔 대규모 자동 라벨링 합성 데이터셋을 생성하여 고품질 재료 주석의 부족을 해결한다.
• 시각적 프라이어와 언어 프라이어를 연결해 재료 인식 및 일반화를 향상시킨다.
• 협력적 파인튜닝을 통해 재료 특유의 특징에 적응하는 동시에 기초 모델 프라이어를 보존한다.

제안 방법

• 의미적 바인딩을 가진 확산 모델과 영역 인식 라벨링을 위한 Grounding DINO를 사용해 다양하고 자동 라벨링된 재료 이미지 데이터셋을 생성한다.
• 듀얼 스트림 아키텍처에서 CLIP으로 인코딩된 GPT-4v의 언어 디스크립터와 DINOv2의 시각 특성을 융합한다.
• 시각 및 언어 백본을 동결한 채 합성 데이터에 대해 MLP 헤드를 공동 파인튜닝하여 프라이어를 보존한다.
• 마스크된 시각 특징과 언어 임베딩을 공동 잠재 공간으로 교차 모달 융합하여 재료 분류를 형상화한다.
• 교차 데이터세트 일반화를 보여주기 위해 FMD(10 클래스), DMS-test(21 클래스), Google-test(21 클래스)에서 평가한다.

실험 결과

연구 질문

• RQ1 의미적으로 근거가 있는 합성 이미지 생성이 고품질의 자동 라벨링 재료 데이터셋을 생성할 수 있을까?
• RQ2 이중 스트림 아키텍처를 통한 시각 기반 프라이어와 언어 프라이어의 통합이 제로샷 VLM보다 재료 분류 성능을 향상시킬까?
• RQ3 기초 모델 프라이어를 보존한 채 헤드를 공동 파인튜닝하는 것이 데이터세트 간 성능 및 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 FMD 데이터셋에서 89% 정확도, Google-test 데이터셋에서 92%를 달성하며 최신 연구를 크게 앞선다.
• 제로샷 CLIP과 GPT-4v는 DMS-test와 Google-test에서 제안된 방법보다 크게 뒤처져 재료 과제에 대한 일반 VLM의 한계를 강조한다.
• 어블레이션은 언어 프라이어와 시각 프라이어 모두 기여하며, 이중 스트림 융합이 모든 데이터세트에서 최고의 성능을 낸다.
• 교차 도메인 설정에서 합성 데이터 학습 모델이 DMS 학습 기반선보다 우수하다(예: Google-test 및 DMS-test에서 0.46 vs 0.60 mIoU, FMD에서 0.81 vs 0.89 mIoU).
• 자동 라벨링된 의미 지도는 비의미적 변형에 비해 mIoU/mAcc에서 약 3-4 포인트의 성능 향상을 보인다.