[논문 리뷰] Measuring Linguistic Diversity During COVID-19

Jonathan Dunn, Tom Coupé외 1명|UvA-DARE (University of Amsterdam)|2021. 04. 03.

Linguistics, Language Diversity, and IdentityArts and Humanities참고 문헌 19인용 수 20

한 줄 요약

이 논문은 코로나19 팬데믹 기간 동안의 이동 제한을 천연 실험으로 활용하여 디지털 코퍼스에서 언어 다양성을 캘리브레이션하기 위해 허프다일-히어슈만 지수(HHI)를 사용하는 차이의 차이(DiD) 방법을 제안한다. 연구는 특히 관광객을 포함한 비현지 주민들이 소셜 미디어 데이터의 언어 다양성에 중대한 왜곡을 초래함을 입증하였으며, 팬데믹 기간 동안 관찰된 언어 다양성의 변화 중 79.3%가 사전에 존재하는 거시적 추세가 아니라 이동 제한 때문임을 보여준다.

ABSTRACT

Computational measures of linguistic diversity help us understand the linguistic landscape using digital language data. The contribution of this paper is to calibrate measures of linguistic diversity using restrictions on international travel resulting from the COVID-19 pandemic. Previous work has mapped the distribution of languages using geo-referenced social media and web data. The goal, however, has been to describe these corpora themselves rather than to make inferences about underlying populations. This paper shows that a difference-in-differences method based on the Herfindahl-Hirschman Index can identify the bias in digital corpora that is introduced by non-local populations. These methods tell us where significant changes have taken place and whether this leads to increased or decreased diversity. This is an important step in aligning digital corpora like social media with the real-world populations that have produced them.

연구 동기 및 목표

• 팬데믹을 자연 실험으로 활용하여 디지털 언어 코퍼스의 편향—특히 비현지 편향—을 해결하고자 한다.
• 이동 제한 기간 동안의 실제 인구 이동을 통해 계산된 언어 다양성 측정치의 타당성을 검증하고자 한다.
• 소셜 미디어 데이터에서 비현지 인구의 영향을 가장 크게 받는 국가와 언어를 특정하고자 한다.
• 이민 또는 양자어 전환과 같은 사전 존재하는 거시적 추세와 구분하여 팬데믹에 기인한 언어 다양성 변화를 식별하고자 한다.
• 인구 및 언어 지ap핑에 사용되는 디지털 코퍼스에서 비현지 편향을 수정하기 위한 방법론적 프레임워크를 제공하고자 한다.

제안 방법

• 2018년, 2019년, 2020년의 언어 다양성 변화를 비교하여 팬데믹에 기인한 영향을 분리하기 위해 차이의 차이(DiD) 접근법을 적용한다.
• 언어 다양성 측정치로 허프다일-히어슈만 지수(HHI)를 사용하며, 낮은 HHI 값은 높은 다양성을 의미한다.
• 2018~2020년 두 해 동안의 지리적 기반 타이밍 데이터를 분석하여 국가 간 언어 분포 변화를 추적한다.
• 2018년 데이터를 기반으로 계절 조정된 기준선을 설정하여 시간적 변동성과 계절적 변동성을 통제한다.
• 팬데믹 기간(2020년 7월~9월) 동안 언어 다양성에 중대한 변화가 있었던 국가를 특정하고, 이와 사전 팬데믹 추세를 비교한다.
• 데이터 양과 경제 지표(예: GDP, 인터넷 접근성)를 인구 규모와 재정적 지위와 비교하여 생산 및 샘플링 편향을 보정한다.

Figure 1: Number of observations per country.

실험 결과

연구 질문

• RQ1 코로나19 팬데믹 기간 동안의 이동 제한은 얼마나 비현지 인구의 영향을 디지털 언어 코퍼스에서 줄이는가?
• RQ2 팬데믹 기간 동안의 언어 다양성 변화는 이민 또는 어휘 이동과 같은 사전 존재하는 거시적 추세와 어떻게 구분할 수 있는가?
• RQ3 비현지 인구의 이탈로 인해 언어 다양성에 가장 큰 변화를 겪는 국가는 어디이며, 어떤 언어가 영향을 받는가?
• RQ4 허프다일-히어슈만 지수(HHI)는 소셜 미디어 데이터에서 비현지 편향을 신뢰성 있게 측정하고 보정하는 데 사용될 수 있는가?
• RQ5 관찰된 언어 다양성의 변화가 언어 사용 행동의 변화가 아니라 인구 구성의 변화를 반영하는 정도는 어느 정도인가?

주요 결과

• 2020년 7월~9월 기간 동안 언어 다양성에 중대한 변화를 보인 58개국 중 79.3%는 2018~2019년 기준 기간에 유사한 변화를 보이지 않았으며, 이는 변화가 주로 팬데믹 관련 이동 제한 때문임을 시사한다.
• 뉴질랜드와 호주에서는 트윗에서 영어 비중이 각각 86.26%에서 84.13%, 89.51%에서 87.45%로 감소하였으며, 이는 비현지 영어권 관광객의 유출로 인해 스페인어나 포르투갈어와 같은 少数 언어가 더 두드러지게 부상한 결과이다.
• 연구는 비현지 편향—특히 관광객에 의한 영향—이 뉴질랜드나 호주처럼 관광 유입이 많은 국가에서 소셜 미디어 데이터의 언어 다양성에 중대한 왜곡을 초래함을 규명하였다.
• HHI 기반의 언어 다양성 측정치는 실제 인구 이동을 성공적으로 반영하여, 디지털 코퍼스에서 비현지 편향을 보정하는 데의 신뢰성을 입증하였다.
• 생산 및 샘플링 편향은 인구 및 경제 데이터를 활용하여 통제되었으며, 관찰된 변화가 데이터 양의 불균형이나 재정적 요인 기반 샘플링 효과 때문이 아니라는 점이 확인되었다.
• 이 방법은 팬데믹에 기인한 변화를 보다 넓은 인구 통계적 추세와 분리하여 성공적으로 식별하였으며, 이동 제한과 같은 자연 실험을 활용할 경우 디지털 코퍼스가 실제 언어 다양성을 반영하도록 캘리브레이션할 수 있음을 입증하였다.

Figure 2: Geographic distribution of data by region by month.