[논문 리뷰] ECCV Caption: Correcting False Negatives by Collecting Machine-and-Human-verified Image-Caption Associations for MS-COCO

Sanghyuk Chun, Wonjae Kim외 3명|arXiv (Cornell University)|2022. 04. 07.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 기계 및 인간 검증을 통해 다섯 가지 다양한 ITM 모델을 활용한 기계-인간-중개(annotation) 파이프라인(MITL)을 통해 MS-COCO의 잘못된 음성 결과(false negatives)를 수정한 ECCV Caption 데이터셋을 소개한다. 결과적으로 생성된 데이터셋은 MS-COCO 대비 이미지-캡션 양방향 양성 연관성에서 각각 3.6배와 8.5배 더 많으며, 저자들은 mAP@R를 Recall@K보다 더 정보적인 평가 지표로 주장하며, 새로운 벤치마크를 사용할 경우 모델 순위가 크게 변화함을 드러낸다.

ABSTRACT

Image-Text matching (ITM) is a common task for evaluating the quality of Vision and Language (VL) models. However, existing ITM benchmarks have a significant limitation. They have many missing correspondences, originating from the data construction process itself. For example, a caption is only matched with one image although the caption can be matched with other similar images and vice versa. To correct the massive false negatives, we construct the Extended COCO Validation (ECCV) Caption dataset by supplying the missing associations with machine and human annotators. We employ five state-of-the-art ITM models with diverse properties for our annotation process. Our dataset provides x3.6 positive image-to-caption associations and x8.5 caption-to-image associations compared to the original MS-COCO. We also propose to use an informative ranking-based metric mAP@R, rather than the popular Recall@K (R@K). We re-evaluate the existing 25 VL models on existing and proposed benchmarks. Our findings are that the existing benchmarks, such as COCO 1K R@K, COCO 5K R@K, CxC R@1 are highly correlated with each other, while the rankings change when we shift to the ECCV mAP@R. Lastly, we delve into the effect of the bias introduced by the choice of machine annotator. Source code and dataset are available at https://github.com/naver-ai/eccv-caption

연구 동기 및 목표

• MS-COCO와 같은 기존 시각-언어(VL) 벤치마크에서 다수의 유효한 연관성에도 불구하고 단 하나의 이미지-캡션 쌍만 양성으로 레이블링되는 잘못된 음성 결과의 광범위한 문제를 해결하기 위해.
• 더 넓고 정확한 양성 대응 관계를 포함한 보다 포괄적이고 정확한 벤치마크를 구축함으로써 VL 모델 평가의 공정성과 정보성 향상을 위해.
• MITL annotation 과정에서 기계 애너테이터가 유도하는 편향을 분석하고, 다중 모델 선택 전략을 통해 이를 완화하는 방법을 제안하기 위해.
• Recall@K 지표가 잘못된 음성 결과가 수정된 상황에서 순위 기반 지표인 mAP@R보다 정보가 적다는 것을 입증하기 위해.

제안 방법

• 저자들은 기계-인간-중개(MITL) annotation 파이프라인을 활용하여 CLIP, ViLT, VSRN, PVSE, PCME 등 다섯 개의 최첨단 ITM 모델을 사용해 인간 검증을 위한 후보 이미지-캡션 쌍을 사전 선별함으로써, annotation 부담을 760억 개에서 약 130만 개로 감소시켰다.
• 인간 애너테이터들이 기계가 선별한 쌍의 관련성을 검증함으로써 고품질의 레이블링을 유지하면서도 확장 가능성을 확보한다.
• 최종적으로 ECCV Caption 데이터셋은 1,261개의 이미지 쿼리당 평균 17.9개의 양성 캡션(비교 기준 MS-COCO의 5개)과 1,332개의 캡션 쿼리당 평균 8.5개의 양성 이미지(비교 기준 MS-COCO의 1개)를 포함한다.
• 저자들은 mAP@R을 Recall@K보다 우수한 평가 지표로 제안하며, 이는 순위 품질을 더 잘 반영하고 노이즈가 있거나 부분적으로 올바른 레이블링에 더 강건하기 때문이다.
• 모델 편향을 평가하기 위해, 모델의 점수가 다중 모델 기반 기준 데이터셋 전체에서의 점수와 비교할 때 일부 MITL 모델에서의 점수 평균 절대 차이를 모델 편향 지표 $\mathcal{B}_{\Theta}$ 로 정의한다.
• 자기 편향(self-bias)과 비자기 편향(non-self-bias)을 분석하여, 단일 모델을 사용할 경우 높은 편향이 발생하고, 다중 모델을 사용할 경우 전체 편향이 감소하며 공정성이 향상됨을 보여준다.

실험 결과

연구 질문

• RQ1 기계가 제안하고 인간이 검증한 이미지-캡션 연관성으로 MS-COCO의 잘못된 음성 결과를 수정함으로써, 시각-언어 모델 평가에 어떤 영향을 미치는가?
• RQ2 다양한 기계 애너테이터가 MITL annotation 과정에 얼마나 많은 편향을 유도하는가? 이 편향은 어떻게 정량화하고 완화할 수 있는가?
• RQ3 mAP@R을 평가 지표로 사용할 경우, 수정된 양성 연관성이 있는 상황에서 Recall@K에 비해 더 신뢰할 수 있고 정보가 많은 모델 순위를 얻을 수 있는가?
• RQ4 MITL 파이프라인의 기초 기계 애너테이터를 변경함으로써 VL 모델의 순위가 임의로 이동할 수 있는가? 이는 벤치마크의 공정성에 어떤 함의를 갖는가?
• RQ5 MITL 과정에서 사용된 기계 애너테이터의 수가 전체 데이터셋의 편향과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• ECCV Caption 데이터셋은 원본 MS-COCO 데이터셋 대비 이미지-캡션 양방향 양성 연관성에서 각각 3.6배와 8.5배 더 많다.
• 새로운 mAP@R 지표로 평가할 경우, 사전 학습된 25개의 VL 모델 순위가 기존 Recall@K 지표와 비교해 크게 변화함을 확인하였으며, 이는 이전의 벤치마크가 진정한 모델 성능 차이를 가려내지 못했을 수 있음을 시사한다.
• MITL 파이프라인에서 단일 기계 애너테이터를 사용할 경우 높은 편향이 발생하며, 이는 최대 9.5에 이르는 모델 편향 $\mathcal{B}_{\Theta}$ 로 측정되지만, 다중 모델을 사용할 경우 이 편향이 감소하며, 모델 수가 많아질수록 일반 편향이 감소함을 확인하였다.
• 개별 모델의 자기 편향은 낮은 편이지만(예: PVSE의 경우 0.1), 비자기 편향은 상당히 높은 편이었으며(예: PVSE의 경우 11.8), 이는 모델의 성능이 MITL 파이프라인 내 다른 모델의 선택에 더 강하게 영향을 받음을 의미한다.
• 일부 노이즈 있는 레이블링(예: 잘못된 물체, 색상, 수량)이 존재하더라도 mAP@R은 Recall@K보다 더 강건하며, 순위 품질을 고려함으로써 잘못된 양성 결과의 영향을 완화하기 때문이다.
• 본 연구는 기계 애너테이터의 선택이 데이터셋 품질과 모델 평가에 결정적인 영향을 미치며, 다중 모델 기반 MITL 전략이 편향을 최소화하고 공정한 벤치마킹을 보장하기 위해 필수적임을 보여준다.