[論文レビュー] Tie-breaker: Using language models to quantify gender bias in sports journalism

Liye Fu, Cristian Danescu-Niculescu-Mizil+1 more|arXiv (Cornell University)|Jul 13, 2016

Sports Analytics and Performance参考文献 17被引用数 29

ひとこと要約

本稿では、テニス選手の試合後インタビューにおける質問のゲーム関連性を、言語モデルを用いて男性選手と女性選手で比較して、性別によるバイアスを定量化する手法を提案している。男性選手に対しては、特にランクが低い選手や非常識なインタビュー状況において、ゲームプレイに焦点を当てた質問が顕著に多いことが判明し、ジャーナリズム的フレーミングにおける構造的性別バイアスを示唆している。

ABSTRACT

Gender bias is an increasingly important issue in sports journalism. In this work, we propose a language-model-based approach to quantify differences in questions posed to female vs. male athletes, and apply it to tennis post-match interviews. We find that journalists ask male players questions that are generally more focused on the game when compared with the questions they ask their female counterparts. We also provide a fine-grained analysis of the extent to which the salience of this bias depends on various factors, such as question type, game outcome or player rank.

研究の動機と目的

• スポーツジャーナリズムにおける性別バイアスが、試合後インタビューの質問内容に現れるかどうかを調査すること。
• ジャーナリストの質問のゲーム関連性を定量化するための自動的で言語モデルベースの手法を開発すること。
• 選手ランク、試合結果、質問タイプなどの要因が、質問の性別差にどのように影響するかを分析すること。
• 今後の研究のための公開データセットとして、試合のメタデータを併せ持つ6,467件のテニス試合後インタビュートランスクリプトを提供すること。

提案手法

• ドメイン特化のゲーム関連語彙を捉えるために、ライブのテニス解説記録を用いて言語モデルを学習する。
• 質問がゲーム関連語彙にどれほど近いかを測る指標として、パープレキシティ（困惑度）を用いる。低いパープレキシティは、ゲーム関連性が高いことを示す。
• 男性選手と女性選手に向けられた質問のパープレキシティを比較し、選手ランク、試合結果、シーズンを制御する。
• 対応データ（例：同じ選手が勝利時と敗北時にインタビューを受けた場合）に対して、ウィルコクソン符号順位検定などの統計的検定を適用して有意性を評価する。
• 選手ランク（上位10位内 vs. それ以外）と試合結果（勝利 vs. 敗北）ごとに分析を層別し、バイアスの文脈的変動を検討する。
• 試合統計を併せ持つ6,467件のテニス試合後インタビュートランスクリプトのデータセットを収集し、公開する。

実験結果

リサーチクエスチョン

• RQ1 男性テニス選手に向けられたインタビュー質問は、女性選手に向けられた質問よりもゲームプレイに焦点を当てているか？
• RQ2 選手ランクは、ジャーナリズム的質問における性別バイアスの程度にどのように影響するか？
• RQ3 試合結果（勝利／敗北）は、男性選手と女性選手に向けられた質問のゲーム関連性に影響を与えるか？
• RQ4 質問の種別（例：試合固有の質問 vs. オフコート関連の質問）によって、質問パターンの差異があるか？
• RQ5 高知名度選手と低ランク選手の両方で、観察されたバイアスは一貫しているか、文脈によって異なるか？

主な発見

• 男性選手に向けられた質問のパープレキシティは、女性選手に向けられた質問よりも顕著に低く（＝よりゲーム関連性が高い）であり、p値 < 0.001 であった。
• 性別バイアスのギャップは、特にランクが低い選手において顕著で、女性選手への質問のパープレキシティは男性選手への質問よりも顕著に高かった（p < 0.01）。
• どちらの性別に対しても、勝利時と敗北時のインタビューで質問のゲーム関連性に有意差は認められず、試合結果が観察されたバイアスを駆動しているとは考えられない。
• 上位10位内選手に対しても、男性選手はよりゲーム中心の質問を受けるが、その差はランクが低い選手に対してより顕著に現れた。
• 言語モデルアプローチにより、ジャーナリズム的フレーミングにおける体系的差が明確に特定された。男性選手は一貫して、パフォーマンス中心の質問を受けた。
• 研究では、ジャーナリストが上位ランク選手の試合詳細に注目する傾向があることが判明したが、これは性別に関係なく顕著であり、男性選手に対して特に強い傾向を示した。