[논문 리뷰] Exploring Diverse In-Context Configurations for Image Captioning

Yang Xu, Yongliang Wu외 3명|arXiv (Cornell University)|2023. 05. 24.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

논문은 다양한 다중 모달 인-컨텍스트 구성(image 선택 및 캡션 할당)이 Vision-Language Models의 적은 샷 이미지-캡션에 어떤 영향을 미치는지 조사하여 MSCOCO에서 무작위 기준선 대비 최대 20.9 CIDEr 개선을 달성합니다.

ABSTRACT

After discovering that Language Models (LMs) can be good in-context few-shot learners, numerous strategies have been proposed to optimize in-context sequence configurations. Recently, researchers in Vision-Language (VL) domains also develop their few-shot learners, while they only use the simplest way, ie., randomly sampling, to configure in-context image-text pairs. In order to explore the effects of varying configurations on VL in-context learning, we devised four strategies for image selection and four for caption assignment to configure in-context image-text pairs for image captioning. Here Image Captioning is used as the case study since it can be seen as the visually-conditioned LM. Our comprehensive experiments yield two counter-intuitive but valuable insights, highlighting the distinct characteristics of VL in-context learning due to multi-modal synergy, as compared to the NLP case. Furthermore, in our exploration of optimal combination strategies, we observed an average performance enhancement of 20.9 of CIDEr scores compared to the baseline. The code is given in https://github.com/yongliang-wu/ExploreCfg.

연구 동기 및 목표

• VLMs를 위한 다중 모달 인-컨텍스트 학습을 이미지 캡션 작성을 사례 연구로 동기 부여합니다.
• 인-컨텍스트 이미지 선택 및 캡션 품질이 적은 샷 캡션 성능에 어떤 영향을 미치는지 체계적으로 연구합니다.
• 이미지 선택 및 캡션 할당의 조합 중 어떤 것이 캡션 품질을 극대화하는지 식별합니다.
• 현실적인 지침을 제시하고, ground-truth 캡션이 제한적일 때 단순-실행(short-cut) 인-컨텍스트 추론을 완화하고 앵커를 활용하는 방법을 강조합니다.

제안 방법

• 네 가지 이미지 선택 전략 정의: Random Sampling (RS), Similarity-based Image-Image Retrieval (SIIR-CLIP and SIIR-TAG), 및 Diversity-based Image-Image Retrieval (DIIR-TR and DIIR-TT).
• 네 가지 캡션 할당 전략 정의: Ground-Truth Captions (GTC), TF 기반 및 VLM 기반 소스의 Model-Generated Captions (MGC), Iteratively Prompting (IP), 및 Model-Generated Captions as Anchors (MGCA).
• n-shot(4/8/16/32) 이미지-캡션 쌍과 테스트 이미지를 포함한 다중 모달 인-컨텍스트 시퀀스를 구성하고, VLM(예: Flamingo 또는 Otter)을 사용하여 자동회귀로 캡션을 생성합니다.
• CIDEr를 주요 지표로 사용하여 MSCOCO(Karpathy split)에서 평가합니다; 샷 수를 다양화하고 설명성 또는 언어 패턴이 결과에 미치는 영향을 분석합니다.
• 라인 차트/히스토그램으로 결과를 제시하고, 상세한 수치 데이터를 보조로 제공합니다.
• 앵커 MGC에 의해 안내되는 ground-truth 캡션을 선택하기 위한 실용적인 지침과 선택적 MGCA 워크플로우를 제공합니다.

실험 결과

연구 질문

• RQ1 다양한 다중 모달 인-컨텍스트 구성(이미지 선택 대 캡션 할당)이 적은 샷 이미지 캡션 성능에 어떤 영향을 미치는가?
• RQ2 캡션 품질과 설명성이 이미지 유사성과 상호 작용하여 VLM 성능을 결정하는가?
• RQ3 모델 생성 캡션이 앵커로서 ground-truth 캡션을 선택하는 데 유익한가?
• RQ4 ground-truth 캡션이 매우 제한적이거나 없는 상황에서 Iterative Prompting은 어떤 도움이 되며 몇 차례의 반복이 유익한가?
• RQ5 유사한 인-컨텍스트 이미지가 캡션 재사용으로 이어져 단축-추론(short-cut inference)을 최소화하는 실용적 전략은 무엇인가?

주요 결과

반복	MGC-VLM(0)	MGC-VLM(32)
1	63.0	85.3
2	74.1	80.5
3	79.9	79.4
4	79.3	78.9
5	77.3	77.1

• 캡션 품질 영향은 미묘합니다: 그럴듯하고 더 간단한 언어 패턴이 특정 이미지 선택 조건에서 더 설명적인 캡션보다 더 우수할 수 있습니다.
• 유사도 기반 이미지 검색은 설명적 품질이 충분할 때 도움이 되지만, 인-컨텍스트 이미지와 테스트 이미지 간의 높은 유사성은 단축-추론을 촉발하여 실제 캡션 학습을 감소시킬 수 있습니다.
• MGCA는 GTC만 사용하는 것보다 일관되게 성능을 향상시키며, 앵커 종류에 따라 평균 CIDEr 증가가 3.2–8.8까지 나타나고, SIIR-CLIP 및 강력한 앵커와 결합될 때 최대 20.9 CIDEr 개선이 나타납니다.
• Iterative Prompting은 적은 반복으로도 안정화될 수 있으며, 특정 설정에서 두 차례의 IP가 모든 ground-truth 캡션을 사용하는 경우와 경쟁하거나 능가할 수 있습니다.
• 최적의 전략(SIIR-CLIP + MGCA, 고품질의 MGC 앵커와 함께)은 가장 큰 평균 CIDEr 개선을 가져오며 20.9 over random baseline에 이릅니다.
• 두 개의 열린 결과 표는 구성 간 CIDEr 결과를 구체적으로 보여줍니다: Table 1은 MGC-VLM 앵커에 대한 반복 CIDEr 점수이고; Table 2는 인-컨텍스트 이미지의 단축-추론 효과를 보여줍니다.