[論文レビュー] Robust Domain Generalization for Multi-modal Object Recognition

Yuxin Qiao, Keqin Li+5 more|arXiv (Cornell University)|Aug 11, 2024

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、CLIPoodにおける限界を是正するため、真の訓練損失を推定し、より大きな視覚言語バックボーンで評価するとともに、クラスに依存するミックスアップ損失を導入することで、マルチモodalオブジェクト認識のための新規ドメイン一般化手法であるMixup-CLIPoodを提案する。本手法はPACS、VLCS、Office-Homeなどのデータセットにおいて優れたゼロショット一般化性能を示し、既存のベースラインを上回る堅牢な性能向上を実現する。

ABSTRACT

In multi-label classification, machine learning encounters the challenge of domain generalization when handling tasks with distributions differing from the training data. Existing approaches primarily focus on vision object recognition and neglect the integration of natural language. Recent advancements in vision-language pre-training leverage supervision from extensive visual-language pairs, enabling learning across diverse domains and enhancing recognition in multi-modal scenarios. However, these approaches face limitations in loss function utilization, generality across backbones, and class-aware visual fusion. This paper proposes solutions to these limitations by inferring the actual loss, broadening evaluations to larger vision-language backbones, and introducing Mixup-CLIPood, which incorporates a novel mix-up loss for enhanced class-aware visual fusion. Our method demonstrates superior performance in domain generalization across multiple datasets.

研究の動機と目的

• CLIPoodの実装で実際に使用された損失関数と論文で報告された損失関数の乖離を解消する。
• 1つのバックボーンにとどまらず、より大きな視覚言語モデル（ViT-B/32およびViT-L/14）を用いて評価を拡張する。
• 新しいミックスアップ損失を導入することで、クラスに依存する視覚特徴統合を実現し、ドメイン一般化性能を向上させる。
• ゼロショット一般化設定下で、多様なマルチモーダルベンチマークにおいて本手法の有効性を示す。

提案手法

• コード解析を通じて、公式CLIPood実装で実際に使用された訓練損失を特定し、元の報告された損失との乖離を是正する。
• モデルスケールにわたる一般化性能を評価するため、2つのより大きな視覚言語バックボーン（ViT-B/32およびViT-L/14）への評価を拡張する。
• 訓練中にクラスに依存する視覚特徴統合を可能にする、新規のミックスアップ損失を提案する。これにより、ドメインシフトに対するモデルの頑健性が向上する。
• ミックスアップ損失をソースドメインでのファインチューニング中に適用し、混合サンプルを生成することで、より不変かつ一般化された表現を学習するよう促進する。
• 標準的なドメイン一般化プロトコルを採用する：1つのドメインをターゲット（訓練時に未観測）とし、残りの3つのドメインをソースとして適応に使用する。
• 標準的な評価指標を用いる：各ターゲットドメインにおけるトップ-1精度を評価し、複数のデータセットおよびバックボーンにわたって結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 公式CLIPood実装で実際に使用された損失関数は何か？ また、論文で報告されたものとはどのように異なるか？
• RQ2 CLIPoodの性能は、ViT-B/32やViT-L/14といったより大きな視覚言語バックボーンにおいて、どのように一般化されるか？
• RQ3 ミックスアップ損失を用いたクラスに依存する視覚特徴統合を組み込むことで、マルチモーダル認識におけるゼロショットドメイン一般化性能はどの程度向上するか？
• RQ4 提案されたMixup-CLIPood手法は、PACS、VLCS、Office-Homeといった多様なマルチモーダルデータセットにおいて、一貫した性能向上を達成できるか？

主な発見

• CLIPood実装で実際に使用された損失関数は、論文で報告されたものとは異なり、コード解析によりその乖離が特定され、是正された。
• Mixup-CLIPoodは、評価されたすべてのバックボーン（ViT-B/16、ViT-B/32、ViT-L/14）で一貫した性能向上を達成し、堅牢な一般化性能を示した。
• VLCSデータセット（ViT-L/14）において、Mixup-CLIPoodは初期テスト精度が約89%に達し、学習を経て90%を超えた。これは、10エポック後のViT-B/16の81%を上回る結果であった。
• ミックスアップ損失の導入により一般化性能が顕著に向上し、PACS、VLCS、Office-Homeの大多数のタスクにおいて、CLIPoodを上回る顕著な精度向上が得られた。
• 安定した学習ダイナミクスを示し、テスト精度がエポックを経て上昇し、高い性能水準に収束した。
• クラスに依存する統合と広範なバックボーン評価を効果的に組み合わせることで、本手法はマルチモーダルドメイン一般化分野における新たなベンチマークを確立した。