[論文レビュー] An Open-Source Cultural Consensus Approach to Name-Based Gender Classification

Ian Van Buskirk, Aaron Clauset+1 more|arXiv (Cornell University)|Aug 2, 2022

Gender Studies in Language被引用数 7

ひとこと要約

本稿では、150か国以上、100年以上にわたる36のグローバルな名前-性別データセットを統合する文化共感理論（Cultural Consensus Theory）を用いた、オープンソースでアンサンブルベースの名前による性別分類手法を提示する。この手法は、有料サービスと同等の性能を達成し、メタデータやデータ収集によるさらなる向上の可能性は低いことが示され、名前の性別関連強度に基づく分類のための分類法を提唱する。

ABSTRACT

Name-based gender classification has enabled hundreds of otherwise infeasible scientific studies of gender. Yet, the lack of standardization, proliferation of ad hoc methods, reliance on paid services, understudied limitations, and conceptual debates cast a shadow over many applications. To address these problems we develop and evaluate an ensemble-based open-source method built on publicly available data of empirical name-gender associations. Our method integrates 36 distinct sources-spanning over 150 countries and more than a century-via a meta-learning algorithm inspired by Cultural Consensus Theory (CCT). We also construct a taxonomy with which names themselves can be classified. We find that our method's performance is competitive with paid services and that our method, and others, approach the upper limits of performance; we show that conditioning estimates on additional metadata (e.g. cultural context), further combining methods, or collecting additional name-gender association data is unlikely to meaningfully improve performance. This work definitively shows that name-based gender classification can be a reliable part of scientific research and provides a pair of tools, a classification method and a taxonomy of names, that realize this potential.

研究の動機と目的

• 既存の有料名前による性別分類サービスにおける透明性の欠如、再現可能性の不足、コストの高さを是正すること。
• 特許権のあるツールと同等またはそれを上回る性能を達成する、オープンソースでオープンデータの手法を開発すること。
• 多様な文化的・言語的文脈における名前による性別分類の限界と誤差分布を体系的に評価すること。
• 性別関連強度と信頼性に基づいて名前を分類する標準化された分類法を構築すること。
• 追加のデータ、メタデータ、または手法の組み合わせが、現在の限界を超えて分類性能を有意義に向上させられるかどうかを評価すること。

提案手法

• 本手法は、文化的文脈や信頼性に差がある複数のデータソースを統合するため、文化共感理論（Cultural Consensus Theory, CCT）にインspiredされたメタラーニングアルゴリズムを採用している。
• 個々のデータセットを「情報提供者」として扱い、名前-性別関連性を、信頼性と文化的文脈に応じた合意形成問題としてモデル化する。
• CCTに由来する確率的枠組みを用いて、各名前のグローバルな合意された性別ラベルを、データソースの一致度と信頼性に基づいて重み付けすることで推定する。
• 不確実性の推定を組み込み、ソース間の不一致や矛盾する関連性に対しても統計的手法で集約処理を行う。
• 性別関連強度に応じて名前を分類する新しい分類法を導入：高カバレッジ、弱い性別関連、条件付き性別関連、またはデータなし。
• 複数の検証セット（Vogelデータセット、Santamaríaデータセット）を用いて性能を評価し、正確性、公平性、構成推定などの指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 公開データを用いたオープンソースでアンサンブルベースの手法が、有料サービスと同等の性能を達成できるか？
• RQ2 分類誤りは、性別、国籍、文化的文脈、特にローマ字表記中国語名においてどのように変動するか？
• RQ3 追加のメタデータ、手法の組み合わせ、または新たなデータ収集によって、現在の限界を超えて性能を向上させられる程度はどの程度か？
• RQ4 名前-性別関連性の曖昧さが、研究サンプルにおける性別構成推定に及ぼす影響は何か？
• RQ5 性別関連強度に基づく標準化された名前の分類法は、科学的研究における性別分類の透明性と信頼性をどのように向上させられるか？

主な発見

• 提案手法は、有料サービスと同等の分類正確性を達成しており、Vogel検証セットでは男性の推定割合が73.2％（目標は72.7％）を示した。
• 性能は高い水準でプラトーに達しており、追加のデータ、メタデータ、または手法の組み合わせによるさらなる向上は、意味的な改善をもたらさない可能性が高い。
• ローマ字表記中国語名の誤分類率は、男性で4.0％、女性で5.2％と高く、ローマ字化プロセスに偏りが生じ、グローバルな公平性に影響を与えている。
• 本手法の性能は多様な文化的文脈で安定しているが、曖昧または弱い性別関連性を持つ名前では誤りが不均等に分布している。
• 性別関連強度に基づく分類法により、Santamaríaデータセットに含まれる中国語名の47％が「弱い関連性」または「データなし」カテゴリに属することが判明し、顕著なデータギャップが浮き彫りになった。
• 高カバレッジ名のみを対象としても、男性構成比は74.5％と推定されるため、サブセット選択により公平性は向上するが、データ損失とサンプル構成へのバイアスの可能性が伴う。