[논문 리뷰] Tie-breaker: Using language models to quantify gender bias in sports journalism

Liye Fu, Cristian Danescu-Niculescu-Mizil외 1명|arXiv (Cornell University)|2016. 07. 13.

Sports Analytics and Performance참고 문헌 17인용 수 29

한 줄 요약

이 논문은 언어 모델 기반 방법을 제안하여 테니스 선수들에 대한 인터뷰 질문의 게임 관련성에 대한 성별 편향을 정량화한다. 남성 테니스 선수들에 비해 여성 테니스 선수들에 대해 질문이 얼마나 게임 중심인지 측정한다. 분석 결과, 남성 선수들에게는 특히 저순위 선수들 및 이례적인 인터뷰 상황에서 게임 중심 질문이 더 많이 쓰이며, 이는 언론의 프레임워크에서 체계적인 성별 편향이 존재함을 시사한다.

ABSTRACT

Gender bias is an increasingly important issue in sports journalism. In this work, we propose a language-model-based approach to quantify differences in questions posed to female vs. male athletes, and apply it to tennis post-match interviews. We find that journalists ask male players questions that are generally more focused on the game when compared with the questions they ask their female counterparts. We also provide a fine-grained analysis of the extent to which the salience of this bias depends on various factors, such as question type, game outcome or player rank.

연구 동기 및 목표

• 스포츠 저널리즘에서 성별 편향이 경기 후 인터뷰 질문의 내용에 어떻게 나타나는지 조사하기.
• 인터뷰 질문의 게임 관련성 정도를 정량화하기 위한 자동화된 언어 모델 기반 방법 개발하기.
• 선수 순위, 경기 결과, 질문 유형 등의 요인이 질문 방식의 성별 차이에 어떻게 영향을 미치는지 분석하기.
• 미래 연구를 위해 공개 가능한 테니스 경기 후 인터뷰 원고와 경기 메타데이터를 포함한 데이터셋 배포하기.

제안 방법

• 도메인 특화의 게임 관련 언어를 캡처하기 위해 실시간 테니스 경기 중계 기록을 기반으로 언어 모델을 훈련한다.
• 질문이 게임 관련 언어와 얼마나 유사한지 측정하기 위해 퍼플렉서티(perplexity)를 사용하며, 낮은 퍼플렉서티 값은 높은 게임 관련성을 의미한다.
• 남성과 여성 선수에게 제기된 질문의 퍼플렉서티를 비교하며, 선수 순위, 경기 결과, 시즌을 제어한다.
• 쌍체적 데이터(예: 같은 선수가 승리했을 때와 패배했을 때)에 대해 통계적 검정(예: 윌콕슨의 순서합 검정)을 적용하여 유의미성 평가한다.
• 선수 순위(상위 10명 vs. 비상위 10명)와 경기 결과(승리 vs. 패배)에 따라 분석을 계층화하여 편향의 맥락적 변동성 탐색하기.
• 6,467건의 테니스 경기 후 인터뷰 원고와 관련된 경기 통계를 포함한 데이터셋을 구축하고 공개한다.

실험 결과

연구 질문

• RQ1 남성 테니스 선수들에게 제기된 질문은 여성 선수들에게 제기된 질문보다 게임 중심이 더 강한가?
• RQ2 선수 순위는 질문의 성별 편향 정도에 어떻게 영향을 미치는가?
• RQ3 경기 결과(승리/패배)는 남성과 여성 선수들에게 질문의 게임 관련성에 영향을 미치는가?
• RQ4 질문 유형(예: 경기 관련 vs. 경기 외부 관련)에 따라 질문 패턴의 차이가 있는가?
• RQ5 고위성 토너먼트 선수들 또는 저순위 선수들에 관계없이 관찰된 편향은 일관된가?

주요 결과

• 남성 테니스 선수들에게 제기된 질문은 여성 선수들에게 제기된 질문보다 유의미하게 낮은 퍼플렉서티를 보이며(즉, 더 게임 관련성이 높다), p값 < 0.001이다.
• 성별 편향의 격차는 저순위 선수들에서 가장 두드러지며, 여성 선수들에게는 남성 선수들보다 훨씬 높은 퍼플렉서티를 보였다(p < 0.01).
• 남성과 여성 선수 모두 승리 또는 패배한 인터뷰에서 질문의 게임 관련성에 유의미한 차이가 없었으며, 이는 경기 결과가 관찰된 편향을 이끌어내지 않는다는 것을 시사한다.
• 상위 10명 이내의 선수들 역시 게임 중심 질문을 더 많이 받지만, 저순위 선수들에서는 이러한 격차가 더 두드러진다.
• 언어 모델 접근법은 언론의 프레임워크에서 체계적인 차이를 성공적으로 식별하였으며, 남성 선수들은 일관되게 성과 중심 질문을 받는다.
• 연구 결과, 언론인들은 상위 순위 선수들에 대해 경기 세부 사항에 더 주목하지만, 이마저도 남성 선수들에 대해 더 두드러진다.