[논문 리뷰] Where Does the Performance Improvement Come From? -- A Reproducibility Concern about Image-Text Retrieval

Jun Rao, Fei Wang외 5명|arXiv (Cornell University)|2022. 03. 08.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 최신 이미지-텍스트 검색 모델의 재현 가능성에 대해 조사하며, 최근 연구에서 성능 향상이 종종 새로운 아키텍처적 혁신보다는 하이퍼파라미터 민감도, 데이터 샘플링 전략, 구현 세부 사항에 의해 이끌린다는 것을 드러낸다. MS-COCO와 Flickr30k에서 11개의 모델을 체계적으로 재현한 결과, 랜덤 시드의 변동으로 인해 IR@1에서 최대 10포인트의 변동이 발생할 수 있으며, 하드 네거티브 마이닝이 안정성과 성능을 크게 향상시켜 최근 모델의 성능 향상에 대한 타당성을 도전한다.

ABSTRACT

This article aims to provide the information retrieval community with some reflections on recent advances in retrieval learning by analyzing the reproducibility of image-text retrieval models. Due to the increase of multimodal data over the last decade, image-text retrieval has steadily become a major research direction in the field of information retrieval. Numerous researchers train and evaluate image-text retrieval algorithms using benchmark datasets such as MS-COCO and Flickr30k. Research in the past has mostly focused on performance, with multiple state-of-the-art methodologies being suggested in a variety of ways. According to their assertions, these techniques provide improved modality interactions and hence more precise multimodal representations. In contrast to previous works, we focus on the reproducibility of the approaches and the examination of the elements that lead to improved performance by pretrained and nonpretrained models in retrieving images and text. To be more specific, we first examine the related reproducibility concerns and explain why our focus is on image-text retrieval tasks. Second, we systematically summarize the current paradigm of image-text retrieval models and the stated contributions of those approaches. Third, we analyze various aspects of the reproduction of pretrained and nonpretrained retrieval models. To complete this, we conducted ablation experiments and obtained some influencing factors that affect retrieval recall more than the improvement claimed in the original paper. Finally, we present some reflections and challenges that the retrieval community should consider in the future. Our source code is publicly available at https://github.com/WangFei-2019/Image-text-Retrieval.

연구 동기 및 목표

• 최근 최고 수준의 이미지-텍스트 검색 모델의 재현 가능성, 특히 보고된 성능 향상에 대해 조사하기.
• 랜덤 시드, 데이터 샘플링, 하이퍼파라미터 튜닝과 같은 핵심 구현 요소가 검색 성능에 미치는 영향을 규명하기.
• 통제된 일관된 실험 환경에서 사전학습된(VLP) 및 비사전학습 모델을 평가하여 성능 향상의 진정한 기여 요소를 분리하기.
• 커뮤니티가 결과나 파rameter 민감도에 의존하는 것을 줄이기 위해 더 철저하고 투명한 보고 방식을 권장함으로써, 선택적 결과나 파rameter에 민감한 설정에 대한 의존도를 줄이기.
• 하드 네거티브 마이닝과 같은 안정적이고 데이터 기반의 개선 방식을 통해 이미지-텍스트 검색 분야에서 더 견고하고 일반화 가능한 연구를 촉진하기.

제안 방법

• 저자는 공식 코드와 논문 기술서를 바탕으로 5개의 사전학습된 모델과 6개의 비사전학습 모델을 재현하여 일관된 훈련 및 평가 프로토콜을 확보했다.
• MS-COCO와 Flickr30k에서 각 모델에 대해 서로 다른 랜덤 시드를 사용해 3회 별도의 실행을 수행하고, 변동성을 줄이기 위해 평균 성능을 보고했다.
• 하드 네거티브 마이닝, 초기화, 데이터 증강의 영향을 평가하기 위해 추론 실험을 수행했다.
• 공동 주의(co-attention), 피드포워드 네트워크와 같은 모odal 상호작용 메커니즘의 영향을 분석하고, 성능 및 모델 안정성에 미치는 영향을 비교했다.
• 표준 벤치마크를 넘어서 포괄적인 평가를 위해 Recall@K, mAP, NDCG 등의 다수의 지표를 사용해 모델을 평가했다.
• 비사전학습 모델 각각에 대해 추가로 10회의 실행을 수행해 비틀림 플롯(violin plots)을 생성하여 랜덤 시드에 따른 성능 안정성을 시각화했다.

실험 결과

연구 질문

• RQ1 랜덤 시드의 변동이 이미지-텍스트 검색 모델의 보고된 성능에 어느 정도 영향을 미치는가?
• RQ2 특히 하드 네거티브 마이닝을 포함한 데이터 샘플링 전략이 모델의 안정성과 검색 정확도에 어떤 영향을 미치는가?
• RQ3 데이터 증강, 초기화와 같은 구현 세부 사항이 아키텍처적 혁신과 비교할 때 성능 향상에 어떤 역할을 하는가?
• RQ4 비사전학습 모델 중 일부는 유사한 아키텍처를 가졌음에도 불구하고 왜 높은 성능 변동성을 보이는가?
• RQ5 검색 커뮤니티는 재현 가능성을 어떻게 향상시키고 하이퍼파라미터 튜닝에 대한 과도한 의존도를 줄일 수 있는가?

주요 결과

• 랜덤 시드의 변동으로 인해 IR@1에서 최대 약 10포인트의 성능 차이가 발생하여, 보고된 결과의 높은 민감도와 낮은 재현 가능성의 가능성을 시사한다.
• 하드 네거티브 마이닝은 비사전학습 모델에서 특히 성능 향상과 모델 안정성 향상에 뚜렷한 영향을 미치며, 성능 향상의 핵심 요소임을 시사한다.
• 최근 모델에서 보고된 많은 성능 향상은 새로운 아키텍처 설계보다는 데이터 샘플링 및 하이퍼파라미터 튜닝과 같은 구현 특화 선택에 기인한 것으로 나타났다.
• 비사전학습 모델에서는 배치 내 가장 유사한 음성 샘플을 사용하는 것, 즉 다양한 하드 네거티브보다는 제한된 샘플을 사용함으로써 데이터 활용의 효과가 제한되었다.
• 더 큰 데이터셋인 MS-COCO에서나 더 어려운 5K 테스트 분할에서 성능이 더 안정되었으며, 이는 데이터 크기와 난이도가 재현 가능성에 영향을 미칠 수 있음을 시사한다.
• 공동 주의와 같은 모달 상호작용 메커니즘은 파rameter 수가 두 배로 증가하는 비용에 비해 성능 향상이 미미하여 성능과 효율성 사이의 상충 관계를 보여준다.