[論文レビュー] Inferring Gender from Names on the Web: A Comparative Evaluation of Gender Detection Methods

Fariba Karimi, Claudia Wagner+3 more|arXiv (Cornell University)|Mar 14, 2016

Authorship Attribution and Profiling参考文献 8被引用数 85

ひとこと要約

本稿は、科学者からなる手動ラベル付与済みデータセットを用いて、名前ベースと画像ベースの性別検出手法の評価と比較を行い、Genderize などの名前ベース推論と Face++ などの顔認識を組み合わせたハイブリッド手法を提案する。このハイブリッド手法は、正確性を向上させるとともに国別バイアスを低減する。混合手法では 92% の正確性を達成し、個々の手法を著しく上回り、中国 や韓国 などの代表が不足している国々において顕著な改善を示した。

ABSTRACT

Computational social scientists often harness the Web as a "societal observatory" where data about human social behavior is collected. This data enables novel investigations of psychological, anthropological and sociological research questions. However, in the absence of demographic information, such as gender, many relevant research questions cannot be addressed. To tackle this problem, researchers often rely on automated methods to infer gender from name information provided on the web. However, little is known about the accuracy of existing gender-detection methods and how biased they are against certain sub-populations. In this paper, we address this question by systematically comparing several gender detection methods on a random sample of scientists for whom we know their full name, their gender and the country of their workplace. We further suggest a novel method that employs web-based image retrieval and gender recognition in facial images in order to augment name-based approaches. Our findings show that the performance of name-based gender detection approaches can be biased towards countries of origin and such biases can be reduced by combining name-based an image-based gender detection methods.

研究の動機と目的

• 異なる国籍における既存の名前ベース性別検出手法の正確性とバイアスを評価すること。
• 顔認識による画像ベース性別認識が、特に代表が不足している集団において検出性能を向上させるかどうかを調査すること。
• 名前ベースと画像ベースの検出を組み合わせたハイブリッド手法を開発・評価し、国別性能差を低減すること。
• 計算的社会科学分野における性別推論ツールの信頼性に関する研究者用ベンチマークを提供すること。
• 新興国における名前ベース手法の限界を強調し、マルチモーダルアプローチの必要性を提唱すること。

提案手法

• 学術的CV や機関ウェブサイトから入手した、確認済みの性別、フルネーム、居住国を有する科学者 1,416 名の手動でキュレートされたデータセットを用いた。
• 5 種類の名前ベース手法（SSA, IPUMS, Sexmachine, Genderize, Face++（画像ベース手法のベースラインとして使用））を評価した。
• 2 種類の混合手法を提案：Mixed1（逐次処理：最初に Genderize を適用し、未分類の名前に対して Face++ を適用）、Mixed2（両手法の信頼度スコアを加重平均で統合）。
• 検索エンジンを用いたウェブベースの画像取得により、科学者の顔画像を収集し、その後 Face++ を用いて性別予測を実施した。
• 正確性、再現率、F1スコア、および精度を評価指標とし、国別に層別分析を実施した。
• Mixed2 では、二値判断ルールに代えて、信頼度を重みとする統合手法を採用し、曖昧な名前の処理をより効果的に行った。

実験結果

リサーチクエスチョン

• RQ1 伝統的な名前ベース性別検出手法は、異なる出身国においてどの程度の正確性を示すか？
• RQ2 顔認識による画像ベース性別認識は、特に代表が不足している国籍において、どの程度性別検出の正確性を向上させるか？
• RQ3 名前ベースと画像ベースの手法を組み合わせることで、性別推論における国別バイアスを低減できるか？
• RQ4 逐次処理と信頼度加重統合のどちらの組み合わせ戦略が、より優れた性能と耐性を示すか？
• RQ5 精度、再現率、F1、正確性といった性能指標は、性別および国籍のサブグループごとにどのように変動するか？

主な発見

• 混合手法（Mixed1）は全体で 92% の正確性を達成し、すべての個別手法を少なくとも 8 パcent 点以上上回った。
• 中国では、最高の名前ベース手法（Sexmachine）でも正確性は 67% にとどまり、画像ベースの Face++ も 65% にとどまり、Mixed1 は 50% まで向上したが、依然として低水準であるが、大多数の名前ベースツールよりは優れた性能を示した。
• 韓国では名前ベース手法が失敗しており（最低正確性：4%）、画像ベースの Face++ は 74% の正確性を示し、Mixed1 は 37% まで向上した。名前のみのアプローチに比べ顕著な改善が確認された。
• 英国、ドイツ、イタリアなどでは名前ベース手法が良好に機能していた（90% 以上の正確性）、しかし Mixed1 でも 2–4 パーセントポイントの向上が確認された。
• Mixed2 手法は、男性および女性の両クラスで 93% の F1 スコアを達成し、性別間での性能のバランスが取れていることを示した。
• 本研究では、名前ベース手法に強い国別バイアスが存在し、特にブラジル や インド などの新興経済国において性能が著しく低下することが判明した。