[논문 리뷰] Large-scale Landmark Retrieval/Recognition under a Noisy and Diverse Dataset

Kohei Ozaki, Shuhei Yokoo|arXiv (Cornell University)|2019. 06. 10.

Forensic Anthropology and Bioarchaeology Studies참고 문헌 22인용 수 28

한 줄 요약

이 논문은 노이즈가 많고 다양한 Google-Landmarks-v2 데이터셋에서 대규모 랜드마크 검색 및 인식을 위한 강력한 딥러닝 시스템을 제시한다. 공간 검증과 분류적 재정렬 방법을 활용한 자동 데이터 정제를 통해 저자들은 2019년 구글 랜드마크 검색 경연에서 1등을 차지했고, 인식 트랙에선 3등을 기록하여 원시 데이터셋에 기반한 베이스라인 모델에 비해 상당한 성능 향상을 입증했다.

ABSTRACT

The Google-Landmarks-v2 dataset is the biggest worldwide landmarks dataset characterized by a large magnitude of noisiness and diversity. We present a novel landmark retrieval/recognition system, robust to a noisy and diverse dataset, by our team, smlyaka. Our approach is based on deep convolutional neural networks with metric learning, trained by cosine-softmax based losses. Deep metric learning methods are usually sensitive to noise, and it could hinder to learn a reliable metric. To address this issue, we develop an automated data cleaning system. Besides, we devise a discriminative re-ranking method to address the diversity of the dataset for landmark retrieval. Using our methods, we achieved 1st place in the Google Landmark Retrieval 2019 challenge and 3rd place in the Google Landmark Recognition 2019 challenge on Kaggle.

연구 동기 및 목표

• Google-Landmarks-v2와 같은 대규모, 노이즈가 많고 매우 다양한 데이터셋에서 신뢰할 수 있는 랜드마크 검색 및 인식 모델을 훈련하는 데 도전하는 것.
• 노이즈가 많고 분포가 벗어난 샘플을 줄이기 위해 훈련 데이터를 자동으로 정제함으로써 모델의 일반화 능력과 강건성을 향상시키는 것.
• 동일한 랜드마크의 실내/실외 시점과 같은 시각적 다양성의 영향을 새로운 재정렬 전략을 통해 완화하는 것.
• 2019년 구글 랜드마크 경연 대회에서 검색 및 인식 트랙 양쪽에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• k-최근접 이웃 검색과 RANSAC 및 DELF 특징를 활용한 공간 검증을 통한 자동 데이터 정제 파이프라인을 이용해 노이즈가 많은 훈련 샘플을 필터링하는 방법.
• 훈련 세트를 활용해 쿼리 및 후보 이미지 간 유사도 추정을 향상시켜 검색 결과를 개선하는 분류적 재정렬 방법.
• 아크페이스와 코스파이스를 사용한 딥 메트릭 학습 모델 훈련과 코시-소프트맥스 손실을 최적화하기 위해 확률적 경사 하강법과 코시 안내를 사용한 방법.
• p=3.0인 GeM 풀링과 1D 배치 정규화를 사용해 특징 표현과 일반화 능력을 향상시키는 방법.
• 다양한 모델 앙상블과 공간 검증 및 빈도 기반 신뢰도 억제를 통한 후처리를 통해 가짜 양성 결과를 줄이는 방법.
• 훈련 중 하드 및 소프트 데이터 증강을 적용하여 강건성과 일반화 능력을 향상시키는 방법.

실험 결과

연구 질문

• RQ1 대규모 랜드마크 데이터셋에서 노이즈에 강건한 딥 메트릭 학습 모델을 어떻게 만들 수 있는가?
• RQ2 자동 데이터 정제가 Google-Landmarks-v2와 같은 노이즈가 많고 실제 세계의 데이터셋에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ3 분류적 재정렬 방법이 검색 과정에서 랜드마크 이미지의 시각적 다양성을 효과적으로 다룰 수 있는가?
• RQ4 앙상블 학습과 신뢰도 校정 기법이 도전적인 랜드마크 벤치마크에서 인식 정확도를 어떻게 향상시키는가?

주요 결과

• 제안된 자동 데이터 정제 과정을 통해 훈련 세트가 410만 장에서 190만 장으로 감소하였고, 이는 모델 성능 향상에 상당한 기여를 하였다.
• 정제된 데이터셋을 사용하여 최고의 단일 모델이 공개 테스트 세트에서 mAP@100이 29.42로, 비공개 세트에서 31.80으로 측정되어 검색 경연에서 성과를 냈다.
• 분류적 재정렬 방법을 적용한 결과, mAP@100이 공개 세트에선 35.69, 비공개 세트에선 37.23로 상승하여 기준 앙상블보다 5점 이상 높아졌다.
• 인식 경연 대회에서 최종 파이프라인은 공개 세트에서 GAP 0.3066, 비공개 세트에서 0.3630을 기록하여 3등을 차지했다.
• 자주 나타나는 오락물 카테고리(예: 꽃, 초상화)의 신뢰도 점수를 억제하는 후처리가 GAP 점수 향상에 상당한 기여를 하였다.
• 소프트 투표에서 공간 검증과 모델 앙상블의 조합이 인식 성능을 상대적으로 10% 향상시켰다.