[논문 리뷰] NICE: CVPR 2023 Challenge on Zero-shot Image Captioning

Taehoon Kim, Pyunghwan Ahn외 40명|arXiv (Cornell University)|2023. 09. 05.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 2023년 CVPR에서 개최된 NICE 챌린지에서, 26,000개의 다양한 고해상도 이미지-캡션 쌍으로 구성된 새로운 데이터셋을 바탕으로 시각-언어 모델의 제로샷 이미지 캡셔닝 성능을 평가하는 것을 목적으로 한다. 최상위 성능을 보인 방법들, 특히 데이터 증강과 일致성 정규화를 적용한 미세조정된 BLIP-2 및 BEiT3는 CIDEr 점수 325 이상을 기록하여 타겟 도메인 학습 데이터 없이도 효과적인 도메인 적응이 가능함을 입증하였다.

ABSTRACT

In this report, we introduce NICE (New frontiers for zero-shot Image Captioning Evaluation) project and share the results and outcomes of 2023 challenge. This project is designed to challenge the computer vision community to develop robust image captioning models that advance the state-of-the-art both in terms of accuracy and fairness. Through the challenge, the image captioning models were tested using a new evaluation dataset that includes a large variety of visual concepts from many domains. There was no specific training data provided for the challenge, and therefore the challenge entries were required to adapt to new types of image descriptions that had not been seen during training. This report includes information on the newly proposed NICE dataset, evaluation methods, challenge results, and technical details of top-ranking entries. We expect that the outcomes of the challenge will contribute to the improvement of AI models on various vision-language tasks.

연구 동기 및 목표

• 대규모이자 다양한 요소를 포함하며 고품질인 제로샷 이미지 캡셔닝 벤치마크의 부족을 보완하기 위해.
• 모델이 타겟 도메인 데이터에 대한 미세조정 없이도 새로운 시각적 개념으로 일반화할 수 있도록 시각-언어 모델을 도전하기 위해.
• 다양한 시각적 도메인과 캡션 스타일 간의 모델의 강인성과 공정성을 평가하기 위해.
• 체계적인 평가와 모델 적응을 통해 제로샷 이미지 캡셔닝 분야의 최신 기술 수준을 향상시키기 위해.
• 도메인 일반화 및 시각-언어 정렬 분야의 연구를 촉진하기 위해 공개 벤치마크를 제공하기 위해.

제안 방법

• 다양한 도메인과 개념을 포함하는 26,000장의 이미지와 고품질 캡션을 갖춘 NICE 데이터셋을 도입하였다.
• 타겟 도메인 학습 데이터 없이도 모델이 새로운 시각적 카테고리로 제로샷 일반화할 수 있도록, 챌린지를 조직하였다.
• 캡션 품질 평가를 위해 BLEU, ROUGE-L, CIDEr, METEOR, SPICE 등의 다수 평가 지표를 사용하였다.
• 최상위 모델들은 제로-컨볼루션 어댑터와 레이어 정규화 최적화를 통한 경량 미세조정을 적용한 BLIP-2를 활용하였다.
• 교수-학습 프레임워크를 활용한 교차 엔트로피 및 KL 발산 손실을 통한 일관성 정규화를 적용하였다.
• LLM가 생성한 캡션과 스타일 매칭을 통한 데이터 증강을 통해 소스 도메인과 타겟 도메인 간의 분포 이탈을 줄였다.

(a) View from sandy beach of picturesque sunset horizon over sea surf lapping on shore

실험 결과

연구 질문

• RQ1 모델이 타겟 도메인에 대한 미세조정 없이도 새로운 시각적 개념으로 얼마나 잘 일반화할 수 있는가?
• RQ2 소규모 또는 타겟 데이터 없이 제로샷 이미지 캡셔닝에서 효과적인 도메인 적응을 가능하게 하는 기법은 무엇인가?
• RQ3 교수-학생 모델 간의 일관성 정규화가 일반화 성능 향상과 치명적 기억 상실 방지를 위해 어떻게 기여하는가?
• RQ4 소스 데이터셋과 타겟 데이터셋 간의 캡션 스타일 일치 정도가 제로샷 캡셔닝 성능에 얼마나 큰 영향을 미치는가?
• RQ5 어댑터 기반 경량 미세조정과 모odal별 정규화가 다양한 새로운 시각적 도메인에서 성능 향상에 기여할 수 있는가?

주요 결과

• 우승 모델은 테스트 세트에서 CIDEr 점수 325.72를 기록하여 강력한 제로샷 일반화 능력을 입증하였다.
• 2위 모델은 CIDEr 점수 324.93을 기록하여 상위 참가자들 간의 성능 격차가 극히 작음을 보여주며, 높은 모델 강인성을 시사한다.
• 일관성 정규화와 어댑터 기반 미세조정을 적용한 모델들이 표준 미세조정보다 성능이 뛰어나며, 특히 치명적 기억 상실을 줄이는 데 효과적이었다.
• LLM가 생성한 캡션을 활용한 데이터 증강은 성능 향상에 기여했으며, 특히 NICE의 캡션 스타일과 일치할 경우 더욱 뚜렷한 효과를 보였다.
• BEiT3 기반 방법은 스타일 매칭 데이터와 새로운 캡션 보정 기법을 활용해 CIDEr 점수 270.60을 기록하였다.
• NICE 데이터셋의 다양성과 고품질 캡션 덕분에 26,000장의 이미지에 걸쳐 제로샷 능력에 대한 신뢰할 수 있는 평가가 가능했다.

(b) 3D concept of online banking on mobile phone showing services currencies and graphs