[論文レビュー] Harnessing the Power of Foundation Models for Accurate Material Classification

Qingran Lin, Fengwei Yang+1 more|arXiv (Cornell University)|Mar 18, 2026

Machine Learning in Materials Science被引用数 0

ひとこと要約

論文は、合成データ生成とビジョン-言語事前学習を組み合わせたデュアルストリーム枠組みを提案し、材料分類を改善。FMD、DMS-test、Google-testデータセットで最先端の結果を達成。さらに、合成データは実データよりもドメイン横断一般化が良いことを示す。

ABSTRACT

Material classification has emerged as a critical task in computer vision and graphics, supporting the assignment of accurate material properties to a wide range of digital and real-world applications. While traditionally framed as an image classification task, this domain faces significant challenges due to the scarcity of annotated data, limiting the accuracy and generalizability of trained models. Recent advances in vision-language foundation models (VLMs) offer promising avenues to address these issues, yet existing solutions leveraging these models still exhibit unsatisfying results in material recognition tasks. In this work, we propose a novel framework that effectively harnesses foundation models to overcome data limitations and enhance classification accuracy. Our method integrates two key innovations: (a) a robust image generation and auto-labeling pipeline that creates a diverse and high-quality training dataset with material-centric images, and automatically assigns labels by fusing object semantics and material attributes in text prompts; (b) a prior incorporation strategy to distill information from VLMs, combined with a joint fine-tuning method that optimizes a pre-trained vision foundation model alongside VLM-derived priors, preserving broad generalizability while adapting to material-specific features.Extensive experiments demonstrate significant improvements on multiple datasets. We show that our synthetic dataset effectively captures the characteristics of real world materials, and the integration of priors from vision-language models significantly enhances the final performance. The source code and dataset will be released.

研究の動機と目的

• 高品質な材料アノテーションの不足を埋めるため、材料に焦点を当てた大規模で自動ラベル付けされた合成データセットを生成する。
• 視覚 priors と言語 priors を橋渡しし、材料認識と一般化を改善する。
• ファウンデーションモデルの priors を保持しつつ、協調微調整を通じて材料特有の特徴へ適応する。

提案手法

• 拡散モデルを用いたセマンティックグラウンディングと Grounding DINO による領域認識付きの多様な自動ラベル付き材料画像データセットを生成する。
• デュアルストリームアーキテクチャで DINOv2 の視覚特徴と CLIP でエンコードされた GPT-4v の言語記述子を融合する。
• 視覚と言語のバックボーンを凍結した状態で合成データ上でMLPヘッドを共同微調整し priors を保つ。
• マスク付き視覚特徴と言語埋め込みを結合した潜在空間で、跨モダリティ融合として材料分類を定式化する。
• FMD（10クラス）、DMS-test（21クラス）、Google-test（21クラス）で評価し、データセット横断の一般化を実証する。

実験結果

リサーチクエスチョン

• RQ1 合成でセマンティックにグラウンデッドな画像生成は高品質で自動ラベル付けされた材料データセットを生み出せるのか。
• RQ2 デュアルストリームアーキテクチャを介して視覚的 priors と言語的 priors を統合することは、ゼロショットのVLMより材料分類を改善するのか。
• RQ3 ヘッドの共同微調整とファウンデーションモデル priors の保持は、データセット横断で性能と一般化にどう影響するのか。

主な発見

• 提案手法は FMD データセットで 89%、Google-test データセットで 92% の精度を達成し、最先端を著しく上回る。
• DMS-test および Google-test ではゼロショット CLIP と GPT-4v が提案手法に大きく遅れ、材料タスクにおける汎用 VLM の限界を示す。
• アブレーションにより言語 priors と視覚 priors の双方が寄与し、デュアルストリームの融合が全データセットで最良の結果を生む。
• 合成データを用いた訓練モデルは、跨ドメイン設定でDMS訓練ベースラインを上回る（例：Google-testとDMS-testで mIoU0.46対0.60、FMDで0.81対0.89）。
• 自動ラベル付け付きセマンティックガイダンスは、非セマンティック変種と比べて mIoU/mAcc を約3-4ポイント向上させる。