[논문 리뷰] Contrastive Learning with Large Memory Bank and Negative Embedding Subtraction for Accurate Copy Detection

Shuhei Yokoo|arXiv (Cornell University)|2021. 12. 08.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 정확한 이미지 복제 검출을 위한 대용량 메모리 백과 부정 임베딩 빼기 기법을 갖춘 대비 학습 프레임워크를 제안한다. 점진적인 해상도와 어려운 데이터 증강을 통해 EfficientNetV2를 훈련하고, 유사한 부정 임베딩을 빼는 새로운 후처리 단계를 적용함으로써, 상태의 기술(SOTA) 성능을 달성하여 페이스북 AI 이미지 유사도 챌린지: 디스크립터 트랙에서 µAP 0.7743과 Recall@P90 0.6892로 1등을 차지하였다.

ABSTRACT

Copy detection, which is a task to determine whether an image is a modified copy of any image in a database, is an unsolved problem. Thus, we addressed copy detection by training convolutional neural networks (CNNs) with contrastive learning. Training with a large memory-bank and hard data augmentation enables the CNNs to obtain more discriminative representation. Our proposed negative embedding subtraction further boosts the copy detection accuracy. Using our methods, we achieved 1st place in the Facebook AI Image Similarity Challenge: Descriptor Track. Our code is publicly available here: \url{https://github.com/lyakaap/ISC21-Descriptor-Track-1st}

연구 동기 및 목표

• 대규모 데이터베이스에서 수정된 이미지 복제를 탐지하는 문제를 해결하기 위해, 콘텐츠 무결성 및 표절 탐지 분야에서 중요한 과제를 해결하고자 한다.
• 크로스배치 메모리 백을 활용한 대비 학습을 통해 복제 검출을 위한 표현 학습을 향상시키고자 한다.
• 점진적인 훈련 전략을 통해 점차 복잡해지는 데이터 증강을 적용하여 모델의 일반화 능력과 강건성을 향상시키고자 한다.
• 벡터 빼기 기반 기법을 통해 쿼리 임베딩을 어려운 부정 샘플들로부터 분리하는 후처리 기법을 개발하고자 한다.
• DISC21 데이터셋의 도전적인 조건에서 최신 기술 성능을 달성하고자 한다. 이는 페이스북 AI 이미지 유사도 챌린지에서 입증되었다.

제안 방법

• 크로스배치 메모리 백을 활용한 대비 학습을 통해 부정 샘플의 다양성과 표현의 구분 능력을 향상시키기 위해 EfficientNetV2 기반 모델을 훈련한다.
• 입력 해상도를 256×256에서 512×512로 점진적으로 증가시키고, 점차 더 복잡한 데이터 증강 기법을 통합하는 다단계 점진적 훈련 전략을 적용한다.
• 실제 세계의 이미지 변형을 모방하기 위해, 자르기, 회전, 투시 변환, 텍스트/이모티콘 오버레이, JPEG 압축 등을 포함하는 포괄적인 데이터 증강 파이프라인을 적용하며, 정교하게 캘리브레이션한다.
• 최종 훈련 단계에서 공개된 단계 1 데이터셋의 참조 쌍을 양성 쌍으로 사용하여, 수동으로 편집된 어려운 예제들에 대한 학습을 강화한다.
• 부정 임베딩 빼기 기법을 도입: 쿼리 디스크립터에서 가장 가까운 상위-k 근접 이웃 임베딩을 반복적으로 빼내어 유사하지만 잘못된 부정 샘플들에 의한 간섭을 억제한다.
• 빼기 후 최종 디스크립터를 정규화하여 단위 벡터 크기를 유지함으로써 유사도 기반 검색과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 대비 학습에서 대용량 메모리 백이 복제 검출을 위한 이미지 임베딩의 구분 능력을 크게 향상시킬 수 있는가?
• RQ2 점차적으로 복잡해지는 데이터 증강 기법을 활용한 점진적 훈련이 실제 세계의 이미지 변형에 대한 모델의 강건성을 향상시키는가?
• RQ3 유사한 부정 샘플들로부터 쿼리 임베딩을 분리하기 위해 간단한 후처리 기법인 부정 임베딩 빼기 기법이 검색 성능을 크게 향상시킬 수 있는가?
• RQ4 참조 세트 간의 겹침이 금지된 상황에서, 훈련 세트 이미지를 어려운 부정 샘플의 대체로 사용할 경우 얼마나 효과적인가?
• RQ5 제안된 방법이 참조 세트를 초월해 과적합 없이 일반화되는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 단계 1의 비공개 테스트 세트에서 µAP 0.7743과 Recall@P90 0.6892를 기록하여 기준 모델들보다 뚜렷이 뛰어난 성능을 보였다.
• 참조 쌍을 사용한 최종 훈련 단계(Trained w/ GT)에서 가장 큰 성능 향상을 기록했으며, µAP는 0.6435에서 0.7557로 상승했다.
• 부정 임베딩 빼기 후처리 기법만으로도 µAP가 0.0188 향상되고 Recall@P90는 0.0488 향상되어 강력한 영향을 미침을 입증했다.
• 최종 훈련 단계에서 참조 이미지를 훈련 세트 이미지로 대체했을 때 µAP는 단지 0.0057 감소하여, 과적합 없이도 강건성과 일반화 능력이 뛰어남을 시사했다.
• 이 방법은 페이스북 AI 이미지 유사도 챌린지: 디스크립터 트랙에서 최종 랭킹 µAP 0.7743과 Recall@P90 0.6892로 1등을 차지하였다.