[論文レビュー] Predicting Gender by First Name Using Character-level Machine Learning

Rosana C. B. Rego, Verônica M. L. Silva+1 more|arXiv (Cornell University)|Jun 18, 2021

Authorship Attribution and Profiling参考文献 39被引用数 5

ひとこと要約

本稿では、1つのワンホットエンコーディングされた文字を入力として使用し、ブラジル人のファーストネームから性別の予測を行う文字レベルの機械学習およびディープラーニング手法を提案する。BiLSTMなどの再帰的モデルは96％以上の精度を達成し、フィードフォワードモデルや従来の機械学習モデルを上回り、名前ベースの性別予測において順序モデリングが極めて有効であることを示している。

ABSTRACT

Predicting gender by the first name is not a simple task. In many applications, especially in the natural language processing (NLP) field, this task may be necessary, mainly when considering foreign names. In this paper, we examined and implemented several machine learning algorithms, such as extra trees, KNN, Naive Bayes, SVM, random forest, gradient boosting, light GBM, logistic regression, ridge classifier, and deep neural network models, such as MLP, RNN, GRU, CNN, and BiLSTM, to classify gender through the first name. A dataset of Brazilian names is used to train and evaluate the models. We analyzed the accuracy, recall, precision, f1 score, and confusion matrix to measure the models' performances. The results indicate that the gender prediction can be performed from the feature extraction strategy looking at the names as a set of strings. Some models accurately predict gender in more than 95% of the cases. The recurrent models overcome the feedforward models in this binary classification problem.

研究の動機と目的

• ファーストネームからの性別予測において、文字レベルの機械学習およびディープラーニングモデルの有効性を調査すること。
• 二値性別分類タスクにおいて、従来の機械学習アルゴリズム（例：SVM、ランダムフォレスト）とディープニューラルネットワーク（例：CNN、RNN、BiLSTM）の性能を比較すること。
• 精度、再現率、F1スコア、混同行列などの標準的指標を用いてモデルの性能を評価すること。
• 再帰的アーキテクチャが、性別予測のための名前の順序的パターンを捉える際に、フィードフォワードネットワークを上回るかどうかを特定すること。

提案手法

• 各文字を数値ベクトル表現に変換するために、名前はワンホットエンコーディングを用いて前処理された。
• 13種類の従来の機械学習モデル（例：エクストラツリー、LightGBM、SVM、ロジスティック回帰）が、エンコーディングされた名前特徴量上で訓練および評価された。
• MLP、CNN、RNN、GRU、BiLSTMの5つのディープラーニングモデルが実装され、文字レベルの入力から階層的かつ順序的なパターンを学習した。
• 過学習を防ぐために、モデルの訓練にはエアリー・ストッピングが使用され、一般化を向上させるために訓練中にドロップアウトが適用された。
• 性能評価には5分割交差検証が用いられ、精度、再現率、F1スコア、混同行列などの指標が含まれた。
• 収束性とモデルの安定性を評価するために、エポックごとの訓練および検証精度と損失がモニタリングされた。

実験結果

リサーチクエスチョン

• RQ1 名前の文字列のみを用いて、文字レベルの機械学習およびディープラーニングモデルがファーストネームからの性別予測を効果的に行えるか？
• RQ2 RNN、GRU、BiLSTMなどの再帰的ニューラルネットワークは、MLP、CNNなどのフィードフォワードネットワークと比較して、名前の性別予測においてどのように性能を発揮するか？
• RQ3 従来の機械学習モデルの中で、文字エンコーディングされた名前に対する性別分類において、最も優れた性能を示すのはどれか？
• RQ4 データセット内の性別比の不均衡がモデルの性能に影響を与えるか？また、モデルはこの不均衡に対処できるか？
• RQ5 この二値分類タスクにおいて、精度とF1スコアを最大化する最適なモデルアーキテクチャは何か？

主な発見

• BiLSTMモデルは、100％の性別比を持つ名前データセットで96.96％の最高精度を達成し、他のすべてのモデルを上回った。
• 同じデータセットにおいて、BiLSTMモデルは0.9720の精度と0.9642のF1スコアを達成し、精度と再現率のバランスが良好であることを示した。
• すべての評価設定において、再帰的モデル（BiLSTM、GRU、RNN）は、フィードフォワードモデル（MLP、CNN）よりも精度とF1スコアの両方で一貫して優れていた。
• エクストラツリーとランダムフォレスト分類器は従来モデルの中で強く、94％以上の精度を示したが、最良のディープラーニングモデルには及ばなかった。
• MLPモデルは、全データセットで86.98％の精度にとどまり、名前の順序的依存関係を捉える能力の限界を示した。
• 混同行列の分析から、BiLSTMおよびGRUモデルは誤分類が最も少なく、特に男性および女性の名前の正しく識別された数が多かった。