[논문 리뷰] GeoDE: a Geographically Diverse Evaluation Dataset for Object Recognition

V. Ramaswamy, Sing Yu Lin외 5명|arXiv (Cornell University)|2023. 01. 05.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

GeoDE는 6개의 세계 지역과 40개의 물체 클래스를 아우르는 61,940장의 이미지로 구성된 지리적으로 다양한 커뮤니티 기반 이미지 데이터셋으로, 객체 인식 모델의 지리적 편향을 드러내기 위해 설계되었다. 웹 스크래핑된 데이터셋과 달리, 개인을 식별할 수 있는 정보(People-Identifiable Information, PII)를 포함하지 않으며, 창작자에 대한 보상 보장을 하고, 훈련에 사용될 경우 지역 기반 벤치마크에서 모델 성능을 최대 20.9% 향상시킨다.

ABSTRACT

Current dataset collection methods typically scrape large amounts of data from the web. While this technique is extremely scalable, data collected in this way tends to reinforce stereotypical biases, can contain personally identifiable information, and typically originates from Europe and North America. In this work, we rethink the dataset collection paradigm and introduce GeoDE, a geographically diverse dataset with 61,940 images from 40 classes and 6 world regions, with no personally identifiable information, collected by soliciting images from people around the world. We analyse GeoDE to understand differences in images collected in this manner compared to web-scraping. We demonstrate its use as both an evaluation and training dataset, allowing us to highlight and begin to mitigate the shortcomings in current models, despite GeoDE's relatively small size. We release the full dataset and code at https://geodiverse-data-collection.cs.princeton.edu

연구 동기 및 목표

• 6개의 글로벌 지역에 걸쳐 균형 잡힌 표현을 갖춘 데이터셋을 구축함으로써 객체 인식 모델의 지리적 편향을 해결하기 위해.
• 웹 스크래핑의 단점인 고정관념적 편향과 비서구권 지역의 부족한 표현을 피할 수 있는 데이터셋 수집 방법을 개발하기 위해.
• 명시적 허락 확보, 창작자 보상 지급, 개인을 식별할 수 있는 정보 제거를 통해 윤리적인 데이터 수집을 보장하기 위해.
• 다양한 지리적 지역에서의 모델 성능을 평가하고 지리적 편향에 가장 영향을 받는 클래스를 특정하기 위해.
• 작고 정교하게 구성된 데이터셋인 GeoDE가 훈련에 사용될 경우 모델의 일반화 능력이 크게 향상될 수 있음을 입증하기 위해.

제안 방법

• GeoDE는 Appen을 통해 보상 지급된 커뮤니티 기반 촬영을 통해 수집되었으며, 기여자들은 자신의 지역 환경에서 특정 물체 클래스를 촬영하도록 지시받았다.
• 데이터셋은 아프리카, 아메리카, 동아시아, 유럽, 남동아시아, 서아시아의 6개 지역에 균형 있게 이미지를 분포시켜 지리적 균형을 확보한다.
• 모든 이미지는 수작업으로 주석 처리되고 검증되어 클래스 정확성과 일관성을 확보하였으며, 얼굴이나 기타 PII를 포함한 이미지는 존재하지 않는다.
• 모든 이미지에 대한 저작권 소유권이 확보되었고, 기여자들은 공정한 보상을 받았다.
• 데이터셋은 지역 성능 측정을 위한 평가 세트로도 사용되었으며, 모델 일반화 능력을 향상시키기 위한 훈련 데이터 증강으로도 활용되었다.
• 성능 평가는 GeoDE의 테스트 분할과 DollarStreet에서의 정확도와 평균 정밀도(AP)를 사용하여 평가하였으며, ImageNet 및 기타 기준 모델과의 비교를 포함하였다.

실험 결과

연구 질문

• RQ1 지리적으로 균형 잡힌 데이터셋을 기반으로 평가했을 때, 모델 성능은 다양한 지리적 지역에서 어떻게 달라지는가?
• RQ2 GeoDE를 훈련 데이터에 포함시킬 경우, 표현이 부족한 지역에서 모델의 일반화 능력은 어느 정도 향상되는가?
• RQ3 웹 스크래핑과 비교했을 때, 커뮤니티 기반 수집 방식은 이미지 분포와 모델 성능에 어떤 영향을 미치는가?
• RQ4 지역별로 특화된 GeoDE 데이터로 훈련했을 때, 어떤 물체 클래스에서 가장 큰 성능 향상이 관찰되는가?
• RQ5 작고 윤리적으로 수집된 데이터셋인 GeoDE가 더 큰 웹 스크래핑 데이터셋보다 일반 물체의 지역적 변형을 탐지하는 데 더 뛰어난 성능을 보일 수 있는가?

주요 결과

• ImageNet 훈련에 GeoDE 데이터를 추가함으로써 DollarStreet 벤치마크에서 정확도가 9.0% 향상되었고, GeoDE 테스트 세트에서는 20.9% 향상되었다.
• GeoDE로 훈련된 모델은 아프리카, 동아시아, 남동아시아에서 유럽보다 상대적으로 더 큰 성능 향상을 보였으며, 지역 특화 데이터의 강력한 이점을 확인하였다.
• 특히 '향신료', '쓰레기통', '청소 도구', '먼지통'과 같은 물체에서 여러 지역에서 평균 정밀도(AP) 향상이 가장 두드러졌다.
• GeoDE 데이터의 증가에 따라 성능 향상이 포화 상태에 이르지 않았으며, 더 다양한 지역 데이터로의 확장이 계속해서 성능 향상 가능성을 시사하였다.
• GeoDE의 이미지들은 웹 스크래핑된 데이터셋과는 다른 특징 분포를 보였으며, 수집 방식 자체가 모델 일반화에 영향을 미친다는 것을 시사하였다.
• 균형 잡힌 지역 및 클래스 분포에 더해 윤리적인 수집 방식을 통해 GeoDE는 웹 스크래핑된 데이터셋의 대안으로서 지리적 편향을 줄이는 데 실현 가능한 대안이 되었다.