[논문 리뷰] Gender Prediction in Social Media

James Smith|arXiv (Cornell University)|2014. 07. 08.

Authorship Attribution and Profiling참고 문헌 10인용 수 6

한 줄 요약

이 논문은 성별 예측을 위해 Fotolog의 스크린네임과 팔로워 데이터만을 사용하는 히우리스틱 접근법을 제안하며, 사용자 이름에 여성 관련 이름과 용어를 검색함으로써 64.70%의 정확도를 달성한다. 이 방법은 제한된 사용자 데이터에서 언어적 및 사회적 신호를 활용하여, 사용자 이름의 성별 특화된 이름 패턴이 최소한의 입력 조건에서도 의미 있는 예측을 가능하게 한다.

ABSTRACT

In this paper, we explore the task of gender classification using limited network data with an application to Fotolog. We take a heuristic approach to automating gender inference based on username, followers and network structure. We test our approach on a subset of 100,000 nodes and analyze our results to find that there is a lot of value in these limited information and that there is great promise in further pursuing this approach to classification.

연구 동기 및 목표

• 스크린네임과 팔로워 수와 같은 최소한의 소셜미디어 데이터만을 사용하여 일반화 가능한 성별 예측 방법을 개발하기 위해.
• 실제 이름이 제공되지 않을 경우 사용자 이름 내 성별 특화된 이름 패턴이 실제 성별과 관련이 있는지 평가하기 위해.
• 복잡한 머신러닝이나 대규모 학습 데이터에 의존하지 않는 히우리스틱 기법을 탐색하기 위해.
• 제한된 공개 가능한 네트워크 기능만을 사용하여 Fotolog에서의 성별 예측 가능성 평가하기 위해.
• 완전한 사용자 프로필이 없이도 정확도를 향상시킬 수 있는 사용자 이름 내 핵심 언어적 및 사회적 신호 식별하기 위해.

제안 방법

• 저자들은 문화적 스테레오타입과 사용자 이름에서의 일반적 사용을 바탕으로 여성 관련 이름과 용어(예: 'girl', 'love', 'Taylor')의 목록을 구성하였다.
• 각 사용자의 스크린네임을 여성용어 목록과 정확한 부분 문자열 매칭으로 검사하였으며, 매칭이 발견되면 사용자를 여성으로 레이블링하였다.
• 매칭되지 않은 사용자에게는 사용자 기반 내 여성 비율을 기반으로 확률적 할당을 적용하였는데, 여성일 가능성 70%, 남성일 가능성 30%로 설정하였다.
• 정확도 향상을 위해 다양한 변형을 테스트함으로써 반복적으로 알고리즘을 개선하였으며, 먼저 여성 이름만을 사용한 후 공통된 성별 관련 용어를 추가하였다.
• 알고리즘은 성별이 알려진 84,589명의 Fotolog 사용자 서브셋을 대상으로 평가되었으며, 성별 레이블이 누락된 15,411명은 제외되었다.
• 최종 모델은 여성 이름 매칭과 추가적인 성별 관련 용어를 결합하여 테스트된 구성 중 가장 높은 정확도를 달성하였다.

실험 결과

연구 질문

• RQ1 소셜미디어 플랫폼의 스크린네임과 팔로워 데이터만을 사용하여 합리적인 정확도로 성별을 예측할 수 있는가?
• RQ2 사용자 이름 내 성별 특화된 이름과 용어가 실제 사용자 성별과 어느 정도 관련이 있는가?
• RQ3 이름 기반 히우리스틱 외에도 'love', 'girl'과 같은 비이름 성별 관련 용어를 포함할 경우 정확도가 어떻게 향상되는가?
• RQ4 모집단 추정 기반의 확률적 할당 방식이 결정론적 규칙에 비해 성별 예측에서 어떤가?
• RQ5 사용자 행동과 언어 사용의 차이가 있음에도 불구하고, 이 히우리스틱 접근법이 다양한 소셜미디어 플랫폼으로 일반화될 수 있는가?

주요 결과

• 히우리스틱 방법은 여성 이름과 성별 관련 용어를 사용자 이름에 결합하여 Fotolog 데이터셋에서 최종적으로 64.70%의 정확도를 달성하였다.
• 사용자 이름 내 여성 이름만을 사용한 경우 63.95%의 정확도를 기록하여 여성 이름과 여성으로 신고된 사용자 간 강한 상관관계를 확인하였다.
• 'girl'과 'love'와 같은 공통된 성별 관련 용어를 추가함으로써 정확도가 63.95%에서 64.70%로 향상되었다.
• 50/50 랜덤 할당 기준선은 정확도를 60%로 낮추었으며, 이는 히우리스틱 접근법이 단순 추측보다 뛰어남을 확인한다.
• 트렌딩 토픽 검색에만 의존할 경우 정확도가 약 40%로 떨어져 이러한 용어의 유용성이 이 맥락에서 제한적임을 시사한다.
• 남성 및 여성 이름 목록을 모두 사용할 경우 'Robert' 내 'Bert'와 같은 모호한 부분 문자열이 정확도 저하를 유발했을 가능성이 있으며, 이는 더 스마트한 부분 문자열 매칭이 필요함을 시사한다.