[논문 리뷰] COCO-Counterfactuals: Automatically Constructed Counterfactual Examples for Image-Text Pairs

Tiep Le, Vasudev Lal외 1명|arXiv (Cornell University)|2023. 09. 23.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 텍스트-이미지 확산 모델을 사용하여 다중모달 반사적 이미지-텍스트 쌍을 자동으로 생성하는 확장 가능한 프레임워크인 COCO-Counterfactuals를 소개한다. 스테이블 디퓨전을 통해 문장 편집과 함께 최소한의 목표 지정된 변경을 통해 이미지를 생성함으로써, 인과적 특성에 대한 최소한의 변화를 유지하면서도, 상태기반의 시각-언어 모델을 도전하고, 데이터 증강을 통해 그들의 도메인 외 일반화 능력을 향상시키는 강력한 데이터셋을 생성한다.

ABSTRACT

Counterfactual examples have proven to be valuable in the field of natural language processing (NLP) for both evaluating and improving the robustness of language models to spurious correlations in datasets. Despite their demonstrated utility for NLP, multimodal counterfactual examples have been relatively unexplored due to the difficulty of creating paired image-text data with minimal counterfactual changes. To address this challenge, we introduce a scalable framework for automatic generation of counterfactual examples using text-to-image diffusion models. We use our framework to create COCO-Counterfactuals, a multimodal counterfactual dataset of paired image and text captions based on the MS-COCO dataset. We validate the quality of COCO-Counterfactuals through human evaluations and show that existing multimodal models are challenged by our counterfactual image-text pairs. Additionally, we demonstrate the usefulness of COCO-Counterfactuals for improving out-of-domain generalization of multimodal vision-language models via training data augmentation.

연구 동기 및 목표

• 시각-언어 모델의 평가 및 향상에 사용할 수 있는 확장 가능하고 고품질의 다중모달 반사적 데이터셋이 부족한 문제를 해결하기 위해.
• 인과적 특성에 대한 최소한의 고립된 변경이 이루어진 수동으로 생성된 이미지-텍스트 반사적 쌍을 만드는 데 어려움이 있다는 문제를 해결하기 위해.
• 텍스트-이미지 확산 모델을 활용하여 의미적으로 일관되고 최소한의 편집이 이루어진 반사적 쌍을 자동으로 생성하는 파이프라인을 개발하기 위해.
• 생성된 반사적 쌍이 기존 모델의 강건성을 어떻게 도전하고, 그들의 제로샷 및 도메인 외 일반화 능력을 얼마나 향상시키는지 검증하기 위해.
• 향후 강건하고 일반화 가능한 다중모달 학습 연구를 지원하기 위해 공개된 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• 기존의 MS-COCO 문장을 사용하여 인과적 특성(예: 객체 색상 또는 존재 여부 변경)을 변경하면서도 다른 특성은 유지하는 최소한의 의미 있는 편집을 수행한다.
• 스테이블 디퓨전을 활용하여 교차 어텐션 제어를 통해 편집된 특성만 반영하는 이미지 쌍을 생성함으로써 최소한의 시각적 교란을 보장한다.
• 원본 문장과 편집된 문장을 모두 조건으로 삼아 이미지 생성을 수행함으로써 문장 편집과 이미지 편집 간의 일치를 보장한다.
• 반사적 쌍은 인간 평가를 통해 의미 일관성과 원본 이미지에서의 최소한의 시각적 이탈을 확인한다.
• 이 프레임워크는 대규모로 적용되어, 인과적 특성에 대한 제어된 고립된 변경이 이루어진 10,000개의 이미지-텍스트 예제로 구성된 COCO-Counterfactuals 데이터셋을 생성한다.
• 이 데이터셋은 Hugging Face와 GitHub 경유로 CC BY 4.0 라이선스 하에 공개되어 일반 사용 및 확장에 기여한다.

실험 결과

연구 질문

• RQ1 텍스트-이미지 확산 모델을 사용하여 제어된 편집을 통해 다중모달 반사적 쌍을 자동으로 확장 가능하게 생성할 수 있는가?
• RQ2 생성된 반사적 쌍이 최신의 시각-언어 모델의 강건성을 얼마나 효과적으로 도전하는가?
• RQ3 COCO-Counterfactuals로 CLIP을 미세조정하면 제로샷 및 도메인 외 일반화 성능이 얼마나 향상되는가?
• RQ4 자동 생성 과정에서 유발되는 주요 제한 사항과 편향은 무엇이며, 특히 기반 확산 모델에서 유래된 편향은 어떤가?
• RQ5 COCO-Counterfactuals는 다양한 평가 벤치마크에서 모델의 강건성을 향상시키기 위한 효과적인 데이터 증강 전략이 될 수 있는가?

주요 결과

• 인간 평가를 통해 COCO-Counterfactuals가 의미적 일관성과 시각적 품질을 유지하며, 대상 외 특성에 대한 의도하지 않은 변경이 최소한임을 확인하였다.
• 최신의 다중모달 모델, 특히 CLIP는 표준 MS-COCO 데이터셋 대비 COCO-Counterfactuals에서 성능이 크게 떨어지는 것으로 나타나, 반사적 쌍이 모델에 도전적임을 입증하였다.
• CLIP를 COCO-Counterfactuals로 미세조정하면, Hateful Memes 및 VQA-CP를 포함한 여러 도메인 외 벤치마크에서 제로샷 성능이 향상됨을 확인하였다.
• 이 데이터셋은 분포 이격 및 편향에 강건한 벤치마크에서 특히 강력한 일반화 성과를 보이며, 데이터 증강에 유용함을 확인하였다.
• 스테이블 디퓨전을 사용함에도 불구하고, 손 또는 객체 수 계산 오류와 같은 일반적인 생성 아티팩트에 상대적으로 강건한 편이지만 일부 편향은 여전히 존재한다.
• 이 데이터셋은 Hugging Face와 GitHub를 통해 CC BY 4.0 라이선스 하에 공개되어 커뮤니티의 사용, 확장 및 향후 연구를 위한 기반을 마련하였다.