[논문 리뷰] ArabGend: Gender Analysis and Inference on Arabic Twitter

Hamdy Mubarak, Shammur Absar Chowdhury외 1명|arXiv (Cornell University)|2022. 03. 01.

Digital Communication and Language인용 수 6

한 줄 요약

이 논문은 성별 및 소재지를 라벨링한 약 166,000개의 아랍어 트위터 계정으로 구성된 대규모 수작업 레이블링 데이터셋인 ArabGend를 소개한다. 이는 아랍어 소셜 미디어에서 성별 분석 및 추론을 가능하게 하며, 사용자명, 프로필 사진, 트윗, 친구 네트워크 등의 다중모달 특징을 사용하는 성별 분류 모델을 제안하여 F1 스코어 82.1%를 달성했으며, 다수 베이스라인 대비 47.3% 향상되었고, 성별 예측을 위한 공개 데모도 함께 제공한다.

ABSTRACT

Gender analysis of Twitter can reveal important socio-cultural differences between male and female users. There has been a significant effort to analyze and automatically infer gender in the past for most widely spoken languages' content, however, to our knowledge very limited work has been done for Arabic. In this paper, we perform an extensive analysis of differences between male and female users on the Arabic Twitter-sphere. We study differences in user engagement, topics of interest, and the gender gap in professions. Along with gender analysis, we also propose a method to infer gender by utilizing usernames, profile pictures, tweets, and networks of friends. In order to do so, we manually annotated gender and locations for ~166K Twitter accounts associated with ~92K user location, which we plan to make publicly available at http://anonymous.com. Our proposed gender inference method achieve an F1 score of 82.1%, which is 47.3% higher than majority baseline. In addition, we also developed a demo and made it publicly available.

연구 동기 및 목표

• 아랍어 소셜 미디어, 특히 트위터에서 성별 분석 및 추론 자원의 부족을 해결하기 위해.
• 성별 및 소재지 레이블이 부여된 공개 가능한 수작업 레이블링 데이터셋을 개발하기 위해.
• 남성과 여성 아랍어 트위터 사용자 간 언어 패턴, 행동 양식, 네트워크 기반의 차이를 탐구하기 위해.
• 문자, 시각적, 소셜 네트워크 특징을 활용해 견고한 성별 추론 모델을 구축하고 평가하기 위해.
• 아랍어 사용자명과 프로필을 기반으로 한 성별 예측을 위한 공개 데모 제공하기 위해.

제안 방법

• 저자들은 약 166,000개의 아랍어 트위터 계정에 대해 수작업으로 성별 및 소재지를 레이블링하여 약 92,000개의 고유한 소재지를 포함한 데이터셋을 확보했다.
• 사용자명, 사용자 설명, 트윗, 프로필 사진, 친구 네트워크 구조 등 다중모달 특징을 추출했다.
• 이러한 특징을 기반으로 기계학습 모델을 훈련시켰으며, 텍스트, 시각적, 네트워크 신호를 통합하기 위해 로지스틱 회귀 및 앙상블 기법을 활용했다.
• 친구들의 성별 분포를 약한 신호로 활용하여 예측이 불확실한 경우의 신뢰도를 높였다.
• 임계값 기반 전파 전략을 사용해 친구들의 예측 레이블에서 성별을 추론하였으며, 이로 인해 성능이 F1 스코어 82.1%에서 82.9%로 향상되었다.
• 훈련된 모델을 기반으로 공개 데모를 개발하여, 사용자가 아랍어 또는 영어 이름을 입력하면 확률 점수와 함께 성별을 예측할 수 있도록 했다.

실험 결과

연구 질문

• RQ1 남성과 여성 아랍어 트위터 사용자 간 언어 패턴, 주제 선호도, 참여 수준에서 어떤 차이가 있는가?
• RQ2 사용자 프로필, 트윗, 프로필 사진, 소셜 네트워크가 아랍어 트위터에서 성별을 얼마나 잘 추론하는 데 활용될 수 있는가?
• RQ3 사용자의 친구 네트워크 내 성별 분포는 성별 예측 모델의 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 성별 추론 모델의 성능은 기존의 기준 모델 및 트위터 광고와 같은 상용 도구와 비교해 어떻게 되는가?
• RQ5 아랍어 트위터에서 성별 표현과 전문 직업 역할에 관해 어떤 인구통계학적 및 사회문화적 패턴이 존재하는가?

주요 결과

• 제안된 성별 추론 모델은 F1 스코어 82.1%를 달성하여 다수 베이스라인 대비 47.3% 향상되었다.
• 친구들의 성별 예측 통합으로 모델 성능이 F1 스코어 82.1%에서 82.9%로 향상되었으며, 특히 신뢰도가 낮은 경우에 뚜렷한 개선이 있었다.
• 모델이 추정한 여성 사용자 비율(20%)은 트위터 광고의 결과(19%)와 매우 유사하여 신뢰성의 타당성을 입증했다.
• 연구에서는 남성과 여성 아랍어 트위터 사용자 간 주제 관심사, 사용자 참여도, 전문적 역할의 차이가 뚜렷하게 드러났다.
• 데이터셋과 데모는 공개되어 있어 향후 아랍어 NLP 및 소셜 미디어 분석 분야의 연구에 유용한 자원이 된다.
• 저자들은 아랍 국가 간 트위터 사용의 불균형으로 인해 지역적 편향이 존재할 수 있음을 인정하며, 특히 마그레브 지역의 저조한 대표성을 지적했다.