[논문 리뷰] Robust Domain Generalization for Multi-modal Object Recognition

Yuxin Qiao, Keqin Li외 5명|arXiv (Cornell University)|2024. 08. 11.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 CLIPood의 한계를 보완하기 위해 진짜 학습 손실을 추론하고, 더 큰 시각-언어 백본에서 평가하며, 클래스 인식 가능한 믹스업 손실을 도입함으로써 다중 모odal 객체 인식을 위한 새로운 도메인 일반화 방법인 Mixup-CLIPood을 제안한다. 이 방법은 PACS, VLCS, Office-Home와 같은 데이터셋에서 뛰어난 제로샷 일반화 성능을 보이며, 기존 베이스라인 대비 안정적인 성능 향상을 보여준다.

ABSTRACT

In multi-label classification, machine learning encounters the challenge of domain generalization when handling tasks with distributions differing from the training data. Existing approaches primarily focus on vision object recognition and neglect the integration of natural language. Recent advancements in vision-language pre-training leverage supervision from extensive visual-language pairs, enabling learning across diverse domains and enhancing recognition in multi-modal scenarios. However, these approaches face limitations in loss function utilization, generality across backbones, and class-aware visual fusion. This paper proposes solutions to these limitations by inferring the actual loss, broadening evaluations to larger vision-language backbones, and introducing Mixup-CLIPood, which incorporates a novel mix-up loss for enhanced class-aware visual fusion. Our method demonstrates superior performance in domain generalization across multiple datasets.

연구 동기 및 목표

• CLIPood 실행 구현에서 보고된 손실과 실제로 사용된 손실 간의 괴리 문제를 해결한다.
• 단일 백본을 초월해 더 큰 시각-언어 모델(ViT-B/32 및 ViT-L/14)에서 평가를 확장한다.
• 새로운 믹스업 손실을 통해 클래스 인식 가능한 시각 특징 융합을 통합하여 도메인 일반화를 향상시킨다.
• 제로샷 일반화 설정 하에서 다양한 다중 모달 벤치마크에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 코드 분석을 통해 공식 CLIPood 실행 구현에서 실제로 사용된 학습 손실을 추론하고, 원래 보고된 손실과의 괴리를 수정한다.
• 모델 규모에 걸쳐 일반화 성능을 평가하기 위해 두 개의 더 큰 시각-언어 백본(ViT-B/32 및 ViT-L/14)으로 평가를 확장한다.
• 학습 중에 클래스 인식 가능한 시각 특징 융합을 가능하게 하는 새로운 믹스업 손실을 제안하여 모델의 도메인 이동에 대한 강건성을 향상시킨다.
• 소스 도메인에서의 피니튜닝 동안 믹스업 손실을 적용하여 혼합 샘플을 생성함으로써, 더 불변적이고 일반화된 표현을 학습하도록 모델을 유도한다.
• 표준 도메인 일반화 프로토콜을 채택한다: 한 도메인을 타겟(학습 중에 보이지 않음)으로, 나머지 세 도메인을 적응을 위한 소스로 사용한다.
• 표준 평가 지표를 사용한다: 각 타겟 도메인에서의 상위-1 정확도이며, 여러 데이터셋과 백본에서 결과를 보고한다.

실험 결과

연구 질문

• RQ1 공식 CLIPood 실행 구현에서 실제로 사용된 손실 함수는 무엇이며, 논문에서 기술된 것과 어떻게 다를까?
• RQ2 ViT-B/32 및 ViT-L/14와 같은 더 큰 시각-언어 백본에서 CLIPood의 성능은 어떻게 일반화되는가?
• RQ3 믹스업 손실을 통한 클래스 인식 가능한 시각 융합을 통합할 경우, 다중 모달 인식에서 제로샷 도메인 일반화는 어느 정도 향상되는가?
• RQ4 제안된 Mixup-CLIPood 방법은 PACS, VLCS, Office-Home와 같은 다양한 다중 모달 데이터셋에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• CLIPood 실행 구현에서 실제로 사용된 손실은 논문에서 보고된 것과 다름을 코드 분석을 통해 확인하고, 이를 수정하였다.
• Mixup-CLIPood는 평가된 모든 백본(ViT-B/16, ViT-B/32, ViT-L/14)에서 일관된 성능 향상을 보이며, 강건한 일반화 능력을 입증하였다.
• ViT-L/14를 사용한 VLCS 데이터셋에서 Mixup-CLIPood는 초기 테스트 정확도 약 89%를 기록하였고, 학습 후 90%를 초과하였으며, ViT-B/16는 10 에포크 후 81%에 그쳤다.
• 믹스업 손실은 일반화 성능을 크게 향상시켰으며, PACS, VLCS, Office-Home의 대부분의 작업에서 CLIPood 대비 뚜렷한 정확도 향상을 보였다.
• 안정적인 학습 동역학을 보였으며, 테스트 정확도가 에포크가 진행되면서 증가하고 고성능 수준으로 수렴하였다.
• 클래스 인식 융합과 광범위한 백본 평가를 효과적으로 조합함으로써, 다중 모달 도메인 일반화 분야에서 새로운 벤치마크를 설정하였다.