[논문 리뷰] Towards A Fairer Landmark Recognition Dataset

Zu Kim, André Araujo외 6명|arXiv (Cornell University)|2021. 08. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 익명화된 Google Maps 사용자 기여 데이터의 분层 샘플링을 통해 랜드마크의 관련성을 추정하고, 세계 인구 통계 자료로 보정하여 지리적 및 사회경제적 편향을 줄이는 방식으로 공정한 랜드마크 인식 데이터셋을 제안한다. 그 결과, 이전의 GLDv2와 같은 데이터셋과 비교해 아프리카, 인도, 중동 등 저조도 지역의 표현이 크게 향상되었으며, 2021년 구글 랜드마크 챌린지의 벤치마크 평가를 통해 검증되었다.

ABSTRACT

We introduce a new landmark recognition dataset, which is created with a focus on fair worldwide representation. While previous work proposes to collect as many images as possible from web repositories, we instead argue that such approaches can lead to biased data. To create a more comprehensive and equitable dataset, we start by defining the fair relevance of a landmark to the world population. These relevances are estimated by combining anonymized Google Maps user contribution statistics with the contributors' demographic information. We present a stratification approach and analysis which leads to a much fairer coverage of the world, compared to existing datasets. The resulting datasets are used to evaluate computer vision models as part of the the Google Landmark Recognition and RetrievalChallenges 2021.

연구 동기 및 목표

• 웹 리포지토리에서 수집된 기존 랜드마크 인식 데이터셋에 존재하는 지리적 및 사회경제적 편향을 해결한다.
• 아프리카, 인도, 중동과 같은 저조도 지역의 랜드마크 데이터셋 내 표현을 향상시킨다.
• 사용자 기여 통계와 세계 인구 통계를 융합해 공정한 랜드마크 관련성 추정 방법을 개발한다.
• 2021년 구글 랜드마크 인식 및 검색 챌린지에 사용할 평가 데이터셋을 구축하여 보다 공정한 글로벌 커버리지 반영을 목표로 한다.
• 향후 공정한 랜드마크 인식 모델 개발을 위한 기준 평가 성능을 제공한다.

제안 방법

• 랜드마크의 관련성을 전 세계 인구의 관련성 반영을 위해 개인적 유용성과 관광 매력도 두 가지 차원으로 정의한다.
• 랜드마크 인기도의 대체 지표로 익명화되고 집계된 Google Maps 사용자 기여 데이터(예: 이미지 업로드, 평가)를 사용한다.
• 인구 통계 집단 $ h $ 를 기반으로 기여자들의 인구 구조적 불균형을 보정하기 위해 분위 샘플링을 적용한다. 수식은 $ P(c) = \sum_h P(c|h)P(h) $ 로 모델링한다.
• 세계 인구 통계 자료(예: 성별, 국적, 연령)를 사용해 $ P(h) $ 를 추정하여 특정 집단의 과대 또는 과소 표현을 보정한다.
• 기여자 집단 $ h $ 가 랜드마크 $ c $ 에 기여한 비율을 기반으로 관련성 점수를 계산한다. 수식은 $ P(c|h) = A_{c,h}/A_h $ 로, 여기서 $ A_{c,h} $ 는 집단 $ h $ 가 랜드마크 $ c $ 에 기여한 기여 수이다.
• GLDv2와 위키미디어에서의 이미지를 관련성 점수에 따라 재샘플링하여 보다 공정한 글로벌 분포를 반영하는 새로운 평가 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 기여자 인구 통계에 편향된 데이터가 아닌 전 세계 인구 분포를 반영하는 방식으로 랜드마크 관련성을 어떻게 추정할 수 있는가?
• RQ2 사용자 기여 데이터의 분위 샘플링이 랜드마크 인식 데이터셋의 지리적 편향을 어느 정도 감소시키는가?
• RQ3 인구 통계 보정된 관련성 점수를 활용해 더 공정한 평가 데이터셋을 랜드마크 인식 및 검색 챌린지에 구축할 수 있는가?
• RQ4 새로운 공정한 데이터셋에서의 모델 성능은 이전 벤치마크 대비 공정성 및 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 인구 통계 보정에도 불구하고 웹 기반 기여 데이터를 사용해 전 세계 랜드마크 관련성을 추정할 때의 한계는 무엇인가?

주요 결과

• 제안된 분위 샘플링 방법은 GLDv2와 비교해 저조도 대륙, 특히 아프리카와 남아시아의 표현을 크게 향상시켰으며, 상위 5,000개 랜드마크의 대륙 분포를 통해 이를 입증했다.
• 분위 데이터셋의 상위 10개 랜드마크에는 사우디아라비아의 마스지드 알=후르름, 인도의 타지마할, Egyptians의 기자 고분군 등 다양한 지역의 세계적으로 중요한 관광지가 포함되어 있어 서유럽 랜드마크의 과도한 집중을 줄였다.
• 2021년 구글 랜드마크 챌린지의 새로운 평가 데이터셋은 인구 통계 보정된 관련성 점수에 기반한 이미지 재샘플링을 통해 모든 지역의 랜드마크에 대해 더 공정한 커버리지가 확보되었다.
• DELG 임베딩을 사용한 기준 평가 결과, 인식(0.2303 private, 0.2376 public) 및 검색(0.2223 private, 0.2153 public) 작업 모두 mAP@100에서 2020년 기준 대비 약간의 향상가능성을 보였다.
• 다만, 인터넷 접근성이 낮은 지역에서의 데이터 부족과, Google Maps 및 위키미디어 양쪽에 모두 존재하지 않는 랜드마크의 경우 관련성 점수의 불완전성 등 여전히 한계가 존재한다.