[논문 리뷰] Does Object Recognition Work for Everyone?

Terrance DeVries, Ishan Misra외 2명|arXiv (Cornell University)|2019. 06. 06.

Visual Attention and Saliency Detection참고 문헌 40인용 수 101

한 줄 요약

본 논문은 Dollar Street 데이터셋에서 공개적으로 이용 가능한 객체 인식 시스템을 평가하고, 아이템의 외형 및 맥락 차이로 인해 국가 간 및 소득 수준에 걸친 상당한 정확도 차이가 있음을 발견하며, 더 글로벌하게 대표되고 다국어 모델의 필요성을 시사한다.

ABSTRACT

The paper analyzes the accuracy of publicly available object-recognition systems on a geographically diverse dataset. This dataset contains household items and was designed to have a more representative geographical coverage than commonly used image datasets in object recognition. We find that the systems perform relatively poorly on household items that commonly occur in countries with a low household income. Qualitative analyses suggest the drop in performance is primarily due to appearance differences within an object class (e.g., dish soap) and due to items appearing in a different context (e.g., toothbrushes appearing outside of bathrooms). The results of our study suggest that further work is needed to make object-recognition systems work equally well for people across different countries and income levels.

연구 동기 및 목표

• 현재의 객체 인식 시스템이 국가 간 및 소득 수준에 걸쳐 동일하게 작동하는지 평가한다.
• 가정용 품목 인식에서 성능 차이의 주요 원인을 파악한다.
• 다양하고 실세계 이미지를 사용하여 소득 및 지리적 지역 간의 정확도 차이를 정량화한다.
• 객체 인식의 국경 간 공정성을 향상시킬 수 있는 잠재적 방향을 제시한다.

제안 방법

• Azure, Clarifai, Google Cloud Vision, Amazon Rekognition, IBM Watson 다섯 개의 클라우드 기반 비전 서비스와 Tencent ML Images에서 학습된 ResNet-101 모델을 평가한다.
• 54개국과 264가구에 걸친 117개의 가정용 아이템 클래스로 구성된 Dollar Street 데이터셋을 사용하고, top-5 예측에 대한 인간 주석을 통해 정답을 확보한다 (accuracy@5).
• 가계 소득(PPP 보정)과 국가의 함수로서의 정확도를 분석하고, 소득 구간 간 샘플 크기를 통제한다.
• 차이의 원인을 조사한다: 지리적 샘플링 편향 및 데이터 수집의 언어/기저 언어 효과.
• 국가별 맵 및 소득과 위치를 분리하기 위한 인도 하위집합을 포함한 보조 분석을 제공한다.

실험 결과

연구 질문

• RQ1 이미지의 출처 국가와 가구 소득에 따라 객체 인식 정확도는 어떻게 달라 있는가?
• RQ2 정확도 차이에 기여하는 주요 요인은 무엇인가(클래스 내 외관, 맥락, 데이터셋 바이어스 등)?
• RQ3 여러 공용 클라우드 시스템이 교차 국가/소득 차이에서 유사한 간극을 보이는가?
• RQ4 지리 기반 재샘플링, 다국어 학습 등 지리적 및 소득 관련 성능 격차를 완화할 수 있는 전략은 무엇인가?

주요 결과

• 소득에 따른 평균 정확도 차이: 월 소득이 <US$50인 가구의 품목은 월 소득이 >US$3,500인 가구의 품목보다 약 10%포인트 정도 정확도가 낮다.
• 지리적 차이가 크다: 미국에서의 정확도는 소말리아나 부르키나파소에 비해 약 15–20%포인트 높다.
• 차이의 원인은 클래스 내 외관 차이(예: 주방세제)와 서로 다른 맥락에서 등장하는 품목들(예: 욕실 밖에서의 이를 닦는 칫솔)이다.
• 결과는 여섯 시스템(다섯 개의 클라우드 서비스와 ResNet-101 모델)에서 일관된다.
• 지리와 소득은 모두 성능의 원인이다; 인도 단일 국가의 하위집합에서도 소득 관련 정확도 경향이 나타난다.