[논문 리뷰] The 2021 Image Similarity Dataset and Challenge

Matthijs Douze, Giorgos Tolias외 10명|arXiv (Cornell University)|2021. 06. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 57인용 수 4

한 줄 요약

이 논문은 NeurIPS 2021 이미지 유사도 챌린지에 대비해 설계된 대규모이고 도전적인 이미지 유사도 검출을 위한 DISC21 벤치마크를 소개한다. 이 벤치마크는 100만 개의 기준 이미지 코퍼스 내에서 다양한 변형(자동화된, 수작업으로 설계된, 학습된)을 가한 이미지의 수정 복제본을 탐지하는 데에 사용되며, '바늘을 풀에 넣는' 설정과 마이크로-AP 평가를 통해 실제 환경에서의 확장성 있고 강건한 이미지 복제 탐지 기술을 발전시키는 것을 목표로 한다. 이는 위성 이미지나 가짜 뉴스와 같은 분야에서의 정보 오용 및 콘텐츠 무결성 문제를 다루는 데 기여한다.

ABSTRACT

This paper introduces a new benchmark for large-scale image similarity detection. This benchmark is used for the Image Similarity Challenge at NeurIPS'21 (ISC2021). The goal is to determine whether a query image is a modified copy of any image in a reference corpus of size 1~million. The benchmark features a variety of image transformations such as automated transformations, hand-crafted image edits and machine-learning based manipulations. This mimics real-life cases appearing in social media, for example for integrity-related problems dealing with misinformation and objectionable content. The strength of the image manipulations, and therefore the difficulty of the benchmark, is calibrated according to the performance of a set of baseline approaches. Both the query and reference set contain a majority of "distractor" images that do not match, which corresponds to a real-life needle-in-haystack setting, and the evaluation metric reflects that. We expect the DISC21 benchmark to promote image copy detection as an important and challenging computer vision task and refresh the state of the art. Code and data are available at https://github.com/facebookresearch/isc2021

연구 동기 및 목표

• 소셜 미디어 및 콘텐츠 무결성 분야에서의 실제 도전 과제를 반영하는 현실적인 벤치마크를 제공함으로써 대규모이고 악성 조작이 가미된 이미지 복제 탐지의 격차를 해소하고자 한다.
• 이미지 복제 탐지가 해결된 문제라는 인식을 도전적으로 도입함으로써, 보정된 변형을 가진 어려운 대규모 데이터셋을 제공함으로써 이를 도전적으로 재정의하고자 한다.
• 표준화되고 개방된 벤치마크를 제공함으로써 자기지도 학습 및 이미지 임베딩 방법에 대한 연구를 촉진하고자 한다.
• 통제된, 재현 가능한 조건에서 검색 기반(트랙 1) 및 기술자 기반(트랙 2) 방법의 평가를 가능하게 하고자 한다.
• 엄격한 평가 독립성 규칙을 통해 기준 집합에 대한 과적합을 방지함으로써 방법론적 공정성을 확보하고자 한다.

제안 방법

• 데이터셋은 50,000개의 쿼리 이미지와 100만 개의 기준 이미지로 구성되며, 크기 조정, 자르기, 색상 이동, 딥페이크 스타일 편집 등의 변형이 포함되어 있으며, 기준 성능에 보정되어 있다.
• 변형은 실제 플랫폼 간의 이미지 확산을 시뮬레이션하는 현실적이고 탐지하기 어려운 복제본을 생성하도록 적용된다.
• '바늘을 풀에 넣는' 설정이 적용되며, 쿼리의 50%만이 일치하는 기준 이미지를 가지며, 나머지는 간섭자이다.
• 일치하는 쌍과 일치하지 않는 쌍 양쪽 모두의 성능을 반영하기 위해 마이크로 평균 평균 정확도(micro-AP)를 평가에 사용한다.
• 두 가지 경쟁 트랙이 정의되어 있다: 트랙 1((쿼리, 기준, 점수) 삼중조의 CSV 제출)과 트랙 2(256차원의 L2 기반 매칭을 위한 HDF5 파일의 기술자).
• 참가자는 사전에 코드를 제출해야 하며(오픈소스를 위해), 쿼리 확장 또는 이웃 그래프 사용을 금지함으로써 과적합을 방지해야 한다.

실험 결과

연구 질문

• RQ1 현재의 자기지도 학습 및 검색 기반 방법은 대규모이고 악성 조작이 가미된 이미지 복제본에 대해 얼마나 잘 일반화되는가?
• RQ2 기존의 이미지 임베딩 모델은 다양한 현실적인 이미지 조작에 대해 얼마나 강건하게 유지되는가?
• RQ3 표준 데이터 증강 기반으로 훈련된 방법들은 대규모이고 현실적인 유사도 기반 복제 탐지 벤치마크에서 테스트할 경우 여전히 잘 성능을 내는가?
• RQ4 동일한 평가 조건에서 검색 기반과 기술자 기반 접근법 사이의 성능 격차는 어느 정도인가?
• RQ5 과적합을 방지하면서도 실제 콘텐츠 무결성 작업을 잘 반영하고 도전적인 벤치마크를 설계하는 방법은 무엇인가?

주요 결과

• DISC21 벤치마크는 50,000개의 쿼리 이미지와 100만 개의 기준 이미지를 포함하며, 쿼리의 50%는 일치하는 기준 이미지를 가지며, 나머지는 간섭자이다.
• 이 데이터셋은 기하학적, 수작업으로 설계된, 그리고 학습된(예: 딥페이크) 변형을 포함하며, 기준 성능에 보정되어 어려움을 확보한다.
• 트랙 1(검색 기반) 결과는 트랙 2(기술자 기반)보다 뛰어날 것으로 예상되며, 후자는 기술자 표현에 더 엄격한 제약을 가진다.
• 평가 프레임워크는 일치하는 쌍과 일치하지 않는 쌍 양쪽 모두의 성능을 공정하게 평가하기 위해 마이크로-AP를 사용한다. 이는 실제 운영 환경의 요구사항을 반영한다.
• 기본 성능 모델이 제공되어 기초 기반으로 사용되며, 코드와 데이터는 재현성 및 장기적인 벤치마크를 위해 https://github.com/facebookresearch/isc2021 에 공개되어 있다.
• 대회에는 개발, 평가, 검증의 세 단계로 구성된 구조가 있으며, 코드 검증을 통해 재현성과 공정성을 확보한다.