[論文レビュー] ArabGend: Gender Analysis and Inference on Arabic Twitter

Hamdy Mubarak, Shammur Absar Chowdhury+1 more|arXiv (Cornell University)|Mar 1, 2022

Digital Communication and Language被引用数 6

ひとこと要約

本稿では、性別および場所をラベル付けした、約166K件のアラビア語ツイッター投稿者を含む大規模な手動アノテーションデータセット「ArabGend」を紹介する。このデータセットは、アラビア語SNSにおける性別分析と推論を可能にする。本稿では、ユーザーネーム、プロフィール画像、ツイート、フレンドネットワークを用いたマルチモーダルな性別分類モデルを提案し、F1スコア82.1%を達成。これは多数派ベースライン比で47.3%の改善であり、性別予測のための公開デモもリリースしている。

ABSTRACT

Gender analysis of Twitter can reveal important socio-cultural differences between male and female users. There has been a significant effort to analyze and automatically infer gender in the past for most widely spoken languages' content, however, to our knowledge very limited work has been done for Arabic. In this paper, we perform an extensive analysis of differences between male and female users on the Arabic Twitter-sphere. We study differences in user engagement, topics of interest, and the gender gap in professions. Along with gender analysis, we also propose a method to infer gender by utilizing usernames, profile pictures, tweets, and networks of friends. In order to do so, we manually annotated gender and locations for ~166K Twitter accounts associated with ~92K user location, which we plan to make publicly available at http://anonymous.com. Our proposed gender inference method achieve an F1 score of 82.1%, which is 47.3% higher than majority baseline. In addition, we also developed a demo and made it publicly available.

研究の動機と目的

• アラビア語SNS、特にツイッターにおいて性別分析と推論のリソースが不足しているという問題に取り組むこと。
• 性別および場所のラベルが付与された、公開可能な手動アノテーション済みのアラビア語ツイッター利用者データセットの開発。
• 男性および女性のアラビア語ツイッター利用者の言語的パターン、行動的特徴、ネットワーク的差異を調査すること。
• テキスト的、視覚的、ソーシャルネットワーク的特徴を統合した、堅牢な性別推論モデルの構築と評価。
• アラビア語ユーザーネームおよびプロフィールに基づく性別予測のための公開デモの提供。

提案手法

• 著者らは、約166K件のアラビア語ツイッター投稿者について、性別および場所を手動でアノテーションし、約92K件の固有の場所を含むデータセットを構築した。
• ユーザーネーム、ユーザーデスクリプション、ツイート、プロフィール画像、フレンドシップネットワーク構造を含むマルチモーダル特徴を抽出した。
• これらの特徴を用いて機械学習モデルを訓練し、テキスト的、視覚的、ネットワーク信号を統合するためのロジスティック回帰およびアンサンブル手法を採用した。
• モデルは、ユーザーのフレンドの性別分布を弱い信号として活用し、予測の信頼性を向上させた。
• しきい値に基づく伝播戦略を用いて、フレンドの予測ラベルから性別を推論し、F1スコアを82.1%から82.9%まで向上させた。
• 訓練済みモデルを用いて公開デモを開発し、アラビア語または英語の名前から確率スコア付きで性別を予測可能にした。

実験結果

リサーチクエスチョン

• RQ1 男性および女性のアラビア語ツイッター利用者は、言語的パターン、トピックの好み、参加度においてどのように異なるか？
• RQ2 ユーザーのプロフィール、ツイート、プロフィール画像、ソーシャルネットワークは、アラビア語ツイッターにおける性別の推定にどの程度活用可能か？
• RQ3 ユーザーのフレンドネットワークにおける性別の分布は、性別予測モデルの精度にどのように影響するか？
• RQ4 提案された性別推論モデルの性能は、ベースライン手法やTwitter Adsのような商用ツールと比較してどうか？
• RQ5 アラビア語ツイッターにおける人口統計的および文化的パターン、特に性別表現と職業的役割に関してはどのような特徴があるか？

主な発見

• 提案された性別推論モデルはF1スコア82.1%を達成し、多数派ベースライン比で47.3%の改善を示した。
• フレンドの性別予測を統合することで、モデルの性能が82.1%から82.9%のF1スコアに向上し、特に信頼度が低いケースで顕著だった。
• モデルが推定した女性ユーザーの性別割合（20%）は、Twitter Adsの結果（19%）とよく一致しており、信頼性が裏付けられた。
• 研究では、トピック関心、ユーザー参加度、職業的代表性において、男性および女性のアラビア語ツイッター利用者間に顕著な差異が明らかになった。
• データセットおよびデモは公開されており、今後のアラビア語NLPおよびソーシャルメディア分析分野における貴重なリソースを提供している。
• 著者らは、特にマグレブ地域でのツイッター利用の不均衡に起因する地域的バイアスの可能性に言及している。