[논문 리뷰] Bag of Tricks and A Strong baseline for Image Copy Detection

Wenhao Wang, Weipu Zhang외 2명|arXiv (Cornell University)|2021. 11. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 이미지 복제 검출을 위한 강력한 비지도 사전 훈련 기반 베이스라인을 제안하며, 새로운 기술인 디스크립터 스트레칭 전략을 도입하여 NeurIPS 2021 Facebook AI 이미지 유사성 챌린지 디스크립터 트랙에서 526개 팀 중 3위를 기록했다. 이 방법은 디스크립터 스트레칭을 통해 쿼리 간 점수 분산을 안정화시켜 검색 정확도를 향상시키며, 비지도 학습(Barlow-Twins)과 데이터 증강 기법을 활용하여 실생활 소셜 미디어 환경에서 수많은 간섭 이미지를 견디는 데에 강건성을 확보한다.

ABSTRACT

Image copy detection is of great importance in real-life social media. In this paper, a bag of tricks and a strong baseline are proposed for image copy detection. Unsupervised pre-training substitutes the commonly-used supervised one. Beyond that, we design a descriptor stretching strategy to stabilize the scores of different queries. Experiments demonstrate that the proposed method is effective. The proposed baseline ranks third out of 526 participants on the Facebook AI Image Similarity Challenge: Descriptor Track. The code and trained models are available at https://github.com/WangWenhao0716/ISC-Track2-Submission.

연구 동기 및 목표

• 수십억 개의 간섭 이미지와 다양한 이미지 변형이 존재하는 실생활 소셜 미디어 환경에서의 이미지 복제 검출 과제를 해결하기 위해.
• 특히 Barlow-Twins를 활용한 비지도 자기지도 학습 사전 훈련을 통해 지도 학습 기반 사전 훈련을 대체하여 검색 성능을 향상시키기 위해.
• 디스크립터 공간에서 쿼리 간 매칭 점수 분산을 안정화시켜, 디스크립터 트랙의 평가 프로토콜에서 일관된 성능을 확보하기 위해.
• 도전적인 ISC2021 벤치마크에서 기존 방법들을 능가하는 실용적이고 효과적인 베이스라인을 개발하기 위해.

제안 방법

• 지도 학습 대신 ImageNet에서 Barlow-Twins 비지도 사전 훈련을 사용하여 실증적으로 뛰어난 성능을 달성한다.
• GeM 풀링, WaveBlock, 고차원 프로젝터, 학습 가능한 행렬, 하드 마이닝을 적용한 트리플릿 손실, 크로스 엔트로피 손실 등을 포함한 다양한 기법들을 적용한 딥 메트릭 러닝 베이스라인을 활용한다.
• 랜덤 크롭, 컬러 조작, 블러링, 회전, 텍스트/이모티콘/이미지 오버레이 등의 다양한 데이터 증강 기법을 적용하여 표현의 강건성을 향상시킨다.
• 추론 단계에서 디스크립터 스트레칭을 도입하여 디스크립터를 재스케일링하고 쿼리 간 점수 안정성을 확보하며, 디스크립터 트랙의 제약 조건을 위반하지 않는 점수 정규화 근사 기법을 제공한다.
• L2 정규화된 특징 융합을 사용한 다중 해상도 추론(200×200에서 400×400까지)을 통해 강건성과 정확도를 향상시킨다.
• 이미지 오버레이를 탐지하기 위해 YOLOv5를 활용하여 오버레이를 식별하고 처리함으로써 매칭 쌍에서 약 1%의 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 실생활 조건에서 지도 학습 대비 비지도 자기지도 학습 사전 훈련이 이미지 복제 검출에서 더 우수한 성능을 낼 수 있는가?
• RQ2 점수 정규화 없이도 쿼리 간 디스크립터 점수 분산을 어떻게 안정화시킬 수 있는가? 이는 검색 일관성 향상에 기여하는가?
• RQ3 데이터 증강과 다중 해상도 추론이 복제 검출에서 예측 불가능한 이미지 변형에 대해 얼마나 강건성을 향상시키는가?
• RQ4 니들인헤이스터 설정에서 오버레이 탐지 및 디스크립터 스트레칭이 검색 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 베이스라인은 ISC2021 테스트 세트에서 마이크로 평균 정밀도 0.73017을 기록하여 디스크립터 트랙에서 526명의 참가자 중 3위를 차지했다.
• Barlow-Twins를 활용한 비지도 사전 훈련은 지도 학습 대비 성능을 14% 이상 향상시켰으며, 마이크로 평균 정밀도를 0.39089에서 0.53218로 상승시켰다.
• 디스크립터 스트레칭만으로도 마이크로 평균 정밀도가 17.26% 향상되었으며, 0.70481에서 0.73017로 상승했고, 쿼리별 지표에는 변화가 없어 점수 안정화가 핵심 메커니즘이라는 것을 시사한다.
• YOLOv5를 통한 오버레이 탐지로 약 1%의 성능 향상이 있었으며, 이는 오버레이를 식별하고 처리함으로써 달성되었다.
• 다중 해상도 테스트로 성능은 71.49%에서 73.02%로 상승하여 강력한 특징 추출 능력을 입증했다.
• 이 방법은 다양한 변형(크롭, 블러링, 컬러 조작, 오버레이 등)이 존재하는 대규모 벤치마크에서도 뛰어난 일반화 성능을 보이며 높은 성능을 달성했다.