[논문 리뷰] Predicting Gender by First Name Using Character-level Machine Learning

Rosana C. B. Rego, Verônica M. L. Silva외 1명|arXiv (Cornell University)|2021. 06. 18.

Authorship Attribution and Profiling참고 문헌 39인용 수 5

한 줄 요약

이 논문은 브라질리언 성함의 철자 수준에서 머신러닝 및 딥러닝 기반의 성별 예측 방법을 제안한다. 입력으로는 원핫 인코딩된 문자를 사용한다. 순환 모델인 BiLSTM는 96% 이상의 정확도를 달성하여 피드포워드 모델 및 전통적인 머신러닝 모델을 능가하며, 이는 시퀀스 모델링이 성함 기반 성별 예측에 매우 효과적임을 보여준다.

ABSTRACT

Predicting gender by the first name is not a simple task. In many applications, especially in the natural language processing (NLP) field, this task may be necessary, mainly when considering foreign names. In this paper, we examined and implemented several machine learning algorithms, such as extra trees, KNN, Naive Bayes, SVM, random forest, gradient boosting, light GBM, logistic regression, ridge classifier, and deep neural network models, such as MLP, RNN, GRU, CNN, and BiLSTM, to classify gender through the first name. A dataset of Brazilian names is used to train and evaluate the models. We analyzed the accuracy, recall, precision, f1 score, and confusion matrix to measure the models' performances. The results indicate that the gender prediction can be performed from the feature extraction strategy looking at the names as a set of strings. Some models accurately predict gender in more than 95% of the cases. The recurrent models overcome the feedforward models in this binary classification problem.

연구 동기 및 목표

• 첫 성함에서 성별을 예측하는 데 있어 철자 수준의 머신러닝 및 딥러닝 모델의 효과성을 조사하는 것.
• 이진 성별 분류 작업에서 전통적인 머신러닝 알고리즘(예: SVM, 랜덤 포레스트)과 딥 네트워크(예: CNN, RNN, BiLSTM)의 성능을 비교하는 것.
• 정확도, 정밀도, 재현율, F1 점수 및 혼동 행렬과 같은 표준 지표를 사용해 모델 성능을 평가하는 것.
• 순환 아키텍처가 성별 예측을 위한 성함의 순서적 패턴을 포착하는 데 피드포워드 네트워크보다 뛰어난가를 판단하는 것.

제안 방법

• 각 문자를 수치 벡터 표현으로 변환하기 위해 이름이 원핫 인코딩을 사용하여 사전 처리되었다.
• 전체 13종의 전통적 머신러닝 모델(예: 엑스트라 트리, 라이트GBM, SVM, 로지스틱 회귀)이 인코딩된 이름 특징에 대해 훈련 및 평가되었다.
• MLP, CNN, RNN, GRU, BiLSTM 등 5종의 딥러닝 모델이 철자 수준의 입력에서 계층적이고 순서적인 패턴을 학습하기 위해 구현되었다.
• 과적합을 방지하기 위해 조기 정지 기법을 사용하였으며, 일반화 성능 향상을 위해 훈련 중 드롭아웃을 적용하였다.
• 성능 평가에 5겹 교차검증을 사용하였으며, 정확도, 정밀도, 재현율, F1 점수 및 혼동 행렬을 포함한 지표가 사용되었다.
• 학습 및 검증 정확도와 손실을 에포크 단위로 모니터링하여 수렴성과 모델 안정성을 평가하였다.

실험 결과

연구 질문

• RQ1 이름 문자열만을 사용하여 철자 수준의 머신러닝 및 딥러닝 모델이 성함에서 성별을 효과적으로 예측할 수 있는가?
• RQ2 RNN, GRU, BiLSTM와 같은 순환 신경망이 MLP, CNN과 같은 피드포워드 네트워크보다 성함 기반 성별 예측에서 어떻게 성능이 다른가?
• RQ3 전통적 머신러닝 모델 중에서 철자 인코딩된 이름에 대해 성별 분류 작업에서 가장 우수한 성능을 보이는 것은 무엇인가?
• RQ4 데이터셋의 성비 불균형이 모델 성능에 영향을 미치는가? 그리고 모델들은 이를 어떻게 다루는가?
• RQ5 이 이진 분류 작업에서 정확도와 F1 점수를 최대화하기 위한 최적의 모델 아키텍처는 무엇인가?

주요 결과

• BiLSTM 모델은 성비 100%인 이름 데이터셋에서 96.96%의 최고 정확도를 기록하여 모든 다른 모델을 능가하였다.
• 동일한 데이터셋에서 BiLSTM 모델은 정밀도 0.9720과 F1 점수 0.9642를 기록하여 정밀도와 재현율 간의 균형이 잘 잡혀 있음을 보여주었다.
• 모든 평가 설정에서 순환 모델(BiLSTM, GRU, RNN)은 정확도와 F1 점수 측면에서 피드포워드 모델(MLP, CNN)을 일관되게 뛰어넘었다.
• 엑스트라 트리와 랜덤 포레스트 분류기는 전통적 모델 중에서 뛰어난 성능을 보였으며, 정확도가 94% 이상이었지만 여전히 최고의 딥러닝 모델에 뒤지지 않았다.
• MLP 모델은 전체 데이터셋에서 정확도가 오직 86.98%에 그쳐 이름의 순서적 의존성을 포착하는 데 한계가 있음을 시사하였다.
• 혼동 행렬 분석 결과, BiLSTM와 GRU 모델이 가장 적은 오분류를 보였으며, 특히 남성 및 여성 이름을 정확히 식별하는 데 뛰어난 성능을 보였다.