[논문 리뷰] Inferring Gender from Names on the Web: A Comparative Evaluation of Gender Detection Methods

Fariba Karimi, Claudia Wagner외 3명|arXiv (Cornell University)|2016. 03. 14.

Authorship Attribution and Profiling참고 문헌 8인용 수 85

한 줄 요약

이 논문은 과학자들의 수작업 레이블이 부여된 데이터셋을 바탕으로 이름 기반 및 이미지 기반 성별 검출 방법을 평가하고 비교하며, 이름 기반 추론(Genderize 등)과 얼굴 인식(Face++)을 조합하는 혼합 방법을 제안하여 정확도를 향상시키고 국가별 편향을 줄인다. 혼합 방법은 92%의 정확도를 기록하여 개별 방법보다 뚜렷이 뛰어나며, 중국과 한국과 같이 소수의 국가에서 특히 유의미한 향상이 이루어졌다.

ABSTRACT

Computational social scientists often harness the Web as a "societal observatory" where data about human social behavior is collected. This data enables novel investigations of psychological, anthropological and sociological research questions. However, in the absence of demographic information, such as gender, many relevant research questions cannot be addressed. To tackle this problem, researchers often rely on automated methods to infer gender from name information provided on the web. However, little is known about the accuracy of existing gender-detection methods and how biased they are against certain sub-populations. In this paper, we address this question by systematically comparing several gender detection methods on a random sample of scientists for whom we know their full name, their gender and the country of their workplace. We further suggest a novel method that employs web-based image retrieval and gender recognition in facial images in order to augment name-based approaches. Our findings show that the performance of name-based gender detection approaches can be biased towards countries of origin and such biases can be reduced by combining name-based an image-based gender detection methods.

연구 동기 및 목표

• 다양한 국적에 걸쳐 기존의 이름 기반 성별 검출 방법의 정확도와 편향을 평가하기 위해.
• 특히 소수의 국가에 속한 인구에서 성별 인식 성능 향상을 위해 얼굴 분석 기반의 이미지 기반 성별 인식이 얼마나 기여하는지 조사하기 위해.
• 이름 기반 및 이미지 기반 검출을 조합한 하이브리드 방법을 개발하고, 국가별 성능 격차를 줄이기 위해 평가하기 위해.
• 컴putational social science 분야에서 성별 추론 도구의 신뢰성에 대한 벤치마크를 제공하기 위해.
• 신규 국가에서 이름 기반 방법의 한계를 부각하고 다중 모odal 접근을 홍보하기 위해.

제안 방법

• 학술 CV와 기관 웹사이트에서 확보한 1,416명의 과학자에 대해 수작업으로 정제된 데이터셋을 사용하여 성별, 성함, 거주 국가를 확보함.
• 다섯 가지 이름 기반 방법을 평가: SSA, IPUMS, Sexmachine, Genderize, Face++(이미지 기반 기준으로 사용함).
• 두 가지 혼합 방법을 제안: Mixed1(순차적: 먼저 Genderize를 사용하고, 미분류 이름에 대해 Face++를 적용), Mixed2(신뢰도 점수를 활용한 가중 평균).
• 웹 기반 이미지 검색을 통해 검색 엔진을 활용해 과학자들의 얼굴 이미지를 확보한 후, Face++를 사용해 성별 예측을 수행함.
• 정밀도, 재현율, F1 점수, 정확도를 평가 지표로 사용하며, 국적별로 분류된 분석을 실시함.
• Mixed2에서는 신뢰도 가중 융합을 적용하여 이진 결정 규칙보다 더 효과적으로 모호한 이름을 처리함.

실험 결과

연구 질문

• RQ1 기존의 이름 기반 성별 검출 방법은 다양한 국적의 기원을 가진 국가에서 얼마나 정확한가?
• RQ2 이미지 기반 얼굴 인식이 성별 검출 정확도를 얼마나 향상시키는가? 특히 소수의 국가에서 성별 검출 성능 향상이 얼마나 이루어지는가?
• RQ3 이름 기반 및 이미지 기반 방법을 조합함으로써 성별 추론에서 국가별 편향을 줄일 수 있는가?
• RQ4 순차적 접근과 신뢰도 가중 융합 중 어느 것이 더 높은 성능과 강건성을 보이는가?
• RQ5 정밀도, 재현율, F1, 정확도 등의 성능 지표가 성별 및 국적 하위집단에 따라 어떻게 변화하는가?

주요 결과

• 혼합 방법(Mixed1)은 총 92%의 정확도를 기록하여 모든 개별 방법보다 최소 8% 이상 높은 성능을 보였다.
• 중국에서는 가장 우수한 이름 기반 방법(Sexmachine)이 67%의 정확도를 기록했으나, 이미지 기반 Face++는 65%였고, Mixed1은 50%로 향상되었으며, 이는 여전히 낮지만 대부분의 이름 기반 도구보다 우수함.
• 한국에서는 이름 기반 방법이 실패했으며(최저 정확도: 4%), 이미지 기반 Face++는 74%의 정확도를 기록했고, Mixed1은 37%에 도달하여 이름 전용 접근보다 뚜렷한 향상이 이루어짐.
• 영국, 독일, 이탈리아와 같은 국가는 이름 기반 방법이 잘 작동했음(90% 이상의 정확도), 그러나 Mixed1은 여전히 2–4%포인트의 성능 향상을 기록함.
• Mixed2 방법은 남성 및 여성 클래스 모두에서 93%의 F1 점수를 기록하여 성별 간 균형 잡힌 성능을 보였음.
• 연구에서 이름 기반 방법이 강한 국가별 편향을 보이며, 특히 브라질과 인도와 같은 신규 국가에서 성능이 급격히 떨어짐.