[논문 리뷰] Mapping Languages and Demographics with Georeferenced Corpora

Jonathan Dunn, Benjamin Adams|arXiv (Cornell University)|2019. 01. 01.

Authorship Attribution and Profiling참고 문헌 23인용 수 6

한 줄 요약

이 연구는 지리적 기반의 웹 크롤링 및 트위터 코퍼스를 실제 민족·언어 인구 조사 데이터와 비교하여 세계 인구의 대표성을 평가한다. 트위터 데이터는 실제 인구 민족 구성과 더 높은 상관관계를 보이며(r = 0.60), 웹 크롤링 데이터보다 더 나은 민족 구성 반영 능력을 보인다(r = 0.49). 또한 다국어 언어 목록 예측 능력에서도 뛰어나지만, 양측 모두 동유럽 및 고소득 국가에서 지역적 편향을 보이며, 특히 트위터 데이터는 관광, 비즈니스, 이민 등으로 인해 유럽어를 과대 표현하는 경향이 있다.

ABSTRACT

This paper evaluates large georeferenced corpora, taken from both web-crawled and social media sources, against ground-truth population and language-census datasets. The goal is to determine (i) which dataset best represents population demographics; (ii) in what parts of the world thedatasets are most representative of actual populations; and (iii) how to weight the datasets to provide more accurate representations of underlying populations. The paper finds that the two datasets represent very different populations and that they correlate with actual populations with values of r = 0:60 (social media) and r = 0:49 (web-crawled). Further, Twitter data makes better predictions about the inventory of languages used in each country.

연구 동기 및 목표

• 대규모 지리 기반 코퍼스가 실제 세계 인구 민족 구성에 얼마나 잘 반영되는지 평가하기 위해.
• 이러한 코퍼스가 실제 인구와 가장 잘 반영되고 가장 잘 반영되지 않는 지리적 지역을 특정하기 위해.
• 사용자 생성 콘텐츠에서 국가 수준 언어 사용을 포괄하는 언어 식별 모델의 효과성을 평가하기 위해.
• 데이터셋 가중치 전략이 디지털 텍스트 코퍼스의 민족 구성 정확도를 향상시킬 수 있는지 확인하기 위해.

제안 방법

• 2014~2017년 웹 크롤링 데이터(Common Crawl)에서 166.5억 단어, 2017~2019년 트위터 데이터에서 41.4억 단어를 수집하였으며, 모두 상위 도메인 또는 도시 기반 공간 검색을 통해 지리적 위치를 특정하였다.
• 신뢰도를 확보하기 위해 최소 50자 이상의 텍스트에 대해 언어 식별 모델을 적용하여 언어 코드를 부여하였다.
• 코퍼스 기반 언어 빈도와 인구 대체 지표를 UN 인구 추정치, 인당 GDP, 인터넷 사용률, UN/월드 팩트북 언어 인구 조사 등 네 가지 기준 기반 데이터와 비교하였다.
• 코퍼스 데이터와 기준 기반 인구 및 언어 사용 간 상관계수(Pearson r)를 사용해 대표성 수준을 평가하였다.
• 국가 인구의 5% 이상을 차지하는 언어 기준으로 코퍼스 언어 목록을 인구 조사 기반 언어 사용 기준과 비교하여 참 양성 및 거짓 양성 비율을 측정하였다.
• 특히 동유럽 및 고소득 국가에서의 지역적 편향을 분석하기 위해 국가 수준 분석을 실시하였으며, 민족 구성 편향을 보완하기 위한 가중치 전략을 탐색하였다.

실험 결과

연구 질문

• RQ1 지리적 기반의 웹 크롤링 및 소셜 미디어 코퍼스가 실제 세계 인구 민족 구성에 얼마나 잘 반영되는가?
• RQ2 웹 크롤링 데이터와 트위터 데이터 중 어느 것이 각 국가의 실제 언어 사용 분포를 더 잘 반영하는가?
• RQ3 이러한 코퍼스가 실제 인구와 가장 잘 반영되고 가장 잘 반영되지 않는 지리적 지역은 어디인가?
• RQ4 이러한 코퍼스에서 거짓 양성 언어 탐지가 얼마나 자주 발생하는가? 그리고 지역적 과대 예측을 설명하는 요인은 무엇인가?
• RQ5 가중치 전략을 통해 코퍼스 기반 인구 표현의 민족 구성 정확도를 향상시킬 수 있는가?

주요 결과

• 트위터 데이터는 실제 기준 인구 추정치와 더 높은 상관관계(r = 0.60)를 보이며, 웹 크롤링 데이터보다 더 나은 민족 구성 대표성을 보인다(r = 0.49).
• 특히 북미 및 오세아니아 지역에서 트위터 데이터가 국가 내 사용 언어의 전체 목록을 웹 크롤링 데이터보다 더 정확하게 예측한다.
• 거짓 양성 언어 탐지 비율은 트위터 데이터에서 더 높은 편이며, 러시아, 미국, 캐나다, 남아프리카 공화국, 호주 등에서 유럽어가 과대 표현되는 경향이 있다. 이는 관광, 비즈니스 활동, 이민 등으로 인한 영향일 가능성이 있다.
• 웹 크롤링 데이터는 전반적으로 거짓 양성 비율이 낮지만, TLD 사용 비율이 높아 동유럽 지역에서 여전히 과대 표현되고 있다(전체 코퍼스의 27.4%이지만 세계 인구의 2.4%에 해당).
• 언어 인구 조사 데이터가 부족하거나 누락된 국가의 경우 평가가 어려운 편이지만, 본 연구의 방법론은 데이터 부족 지역에서도 예측 가능성을 제공한다.
• 두 코퍼스 모두 체계적인 편향을 보이며, 트위터는 고소득 및 도시 인구를 더 선호하는 경향이 있다. 이에 따라 인구 구성 편향을 보완하기 위해 GDP 또는 인터넷 사용량 기반 가중치 전략을 적용할 경우 대표성 향상이 가능할 것으로 제안된다.