[논문 리뷰] No Classification without Representation: Assessing Geodiversity Issues in Open Data Sets for the Developing World

Shreya Shankar, Yoni Halpern외 4명|arXiv (Cornell University)|2017. 11. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 5인용 수 175

한 줄 요약

이 논문은 ImageNet과 Open Images의 지오-다양성을 분석하여 미국중심/유럽중심 편향과 그것이 지역별 분류기 성능에 미치는 영향을 보여준다. 개발 도상국용 데이터 세트의 지오-대표성을 옹호한다.

ABSTRACT

Modern machine learning systems such as image classifiers rely heavily on large scale data sets for training. Such data sets are costly to create, thus in practice a small number of freely available, open source data sets are widely used. We suggest that examining the geo-diversity of open data sets is critical before adopting a data set for use cases in the developing world. We analyze two large, publicly available image data sets to assess geo-diversity and find that these data sets appear to exhibit an observable amerocentric and eurocentric representation bias. Further, we analyze classifiers trained on these data sets to assess the impact of these training distributions and find strong differences in the relative performance on images from different locales. These results emphasize the need to ensure geo-representation when constructing data sets for use in the developing world.

연구 동기 및 목표

• 두 개의 대형 개방형 이미지 데이터 세트(ImageNet와 Open Images)의 지오-다양성을 평가한다.
• 이 데이터 세트에서의 학습이 서로 다른 지리적 위치의 이미지에 대한 분류기 성능에 어떤 영향을 미치는지 평가한다.
• 널리 사용되는 데이터 세트에서 미국 중심/유럽 중심의 표현 편향이 존재함을 입증한다.
• 개발 도상 세계의 데이터 세트 구성에 대한 시사점을 논의한다.

제안 방법

• ImageNet과 Open Images의 지리적 분포를 추정하기 위한 국가 수준의 지오-위치 프록시를 사용한다.
• 국가별 이미지 분포를 분석하고 표현 불균형을 식별한다.
• 두 데이터 세트에서 사전 학습된 Inception V3 모델을 학습시키고 지리적으로 지역화된 이미지에 대한 성능을 비교한다.
• 크라우드소싱 및 지리적으로 위치한 웹 이미지 방법을 통해 스트레스 테스트 데이터를 수집하여 지역 간 분류기 동작을 평가한다.
• (Saliency 맵) SmoothGrad를 사용하여 어떤 이미지 영역이 오분류를 유발하는지 조사한다.

실험 결과

연구 질문

• RQ1 ImageNet과 Open Images가 국가 간 지오-표현 편향을 보이는가?
• RQ2 학습 데이터의 지리적 편향이 비-US 이미지에 대한 분류기 성능에 어떤 영향을 미치는가?
• RQ3 지역별 이미지에서 의상이나 맥락 중 어느 쪽이 오분류에 더 큰 영향을 미치는가?
• RQ4 이 데이터 세트에서 학습된 분류기가 서로 다른 지리적 위치에서도 일관되게 성능을 보이는가?

주요 결과

• Open Images와 ImageNet은 미국 및 유럽에 편향이 크고 중국과 인도가 대표성이 낮은 편이 확인된다.
• 북미와 유럽에서 가장 많이 표현된 여섯 개 나라에서 샘플의 큰 부분이 나온다.
• 이 데이터 세트에서 학습된 분류기가 지역별 이미지를 더 자주 오분류하고 비-US 이미지에 대한 신뢰도가 더 낮다.
• 사실성 맵(Saliency 맵)은 일부 오분류에서 모델이 의상보다 얼굴 영역에 의존하는 경향이 있음을 나타낸다.
• 하이데라바드의 스트레스 테스트 이미지가 두 모델 모두에서 낮은 가능도를 보이는 경우가 많아 지역 간 성능 격차를 시사한다.
• 국가 간 성능 차이는 이미지 범주 간 표현의 불균일성을 시사한다.