[論文レビュー] Measuring Linguistic Diversity During COVID-19

Jonathan Dunn, Tom Coupé+1 more|UvA-DARE (University of Amsterdam)|Apr 3, 2021

Linguistics, Language Diversity, and IdentityArts and Humanities参考文献 19被引用数 20

ひとこと要約

本稿では、COVID-19の旅行制限を自然実験として活用し、デジタルコーパスにおける言語多様性の測定を補正するための差分の差分（DiD）法を提案する。この手法は、ヒーファインダル＝ヒルシュマン指数（HHI）を用いて言語多様性を測定する。研究では、特に観光客を含む非ローカル人口がソーシャルメディアのデータにおける言語多様性を著しく歪めていることが示され、パンデミック期に観察された言語多様性の変化の79.3％が、事前のマクロトレンドとは独立して、旅行制限に起因していることが判明した。

ABSTRACT

Computational measures of linguistic diversity help us understand the linguistic landscape using digital language data. The contribution of this paper is to calibrate measures of linguistic diversity using restrictions on international travel resulting from the COVID-19 pandemic. Previous work has mapped the distribution of languages using geo-referenced social media and web data. The goal, however, has been to describe these corpora themselves rather than to make inferences about underlying populations. This paper shows that a difference-in-differences method based on the Herfindahl-Hirschman Index can identify the bias in digital corpora that is introduced by non-local populations. These methods tell us where significant changes have taken place and whether this leads to increased or decreased diversity. This is an important step in aligning digital corpora like social media with the real-world populations that have produced them.

研究の動機と目的

• パンデミックを自然実験として活用し、特に非ローカルバイアスを是正することにより、デジタル言語コーパスにおけるバイアスを是正すること。
• 旅行制限期における実世界の人口移動を用いて、計算的手法による言語多様性の測定を検証すること。
• ソーシャルメディアデータにおける非ローカル人口の影響を最も受ける国と言語を特定すること。
• 移住や二言語化の変化などの事前のマクロトレンドとは異なる、パンデミックに起因する言語多様性の変化を区別すること。
• 人口および言語マッピングに用いられるデジタルコーパスにおける非ローカルバイアスを是正するための方法論的フレームワークを提供すること。

提案手法

• パンデミックに起因する影響を隔離するために、2018年、2019年、2020年の言語多様性を比較する差分の差分（DiD）アプローチを適用する。
• 言語多様性の測定にヒーファインダル＝ヒルシュマン指数（HHI）を用い、HHIが低いほど多様性が高いことを示す。
• 2018年から2020年の2年間の地理的参照付きツイッターデータを分析し、国ごとの言語分布の変化を追跡する。
• 季節調整されたベースラインを2018年のデータを用いて確立し、時間的変動や季節的変動を制御する。
• パンデミック期（2020年7月～9月）に言語多様性に顕著な変化を示した国を特定し、それらをパンデミック以前のトレンドと比較する。
• データ量と経済指標（例：GDP、インターネットアクセス）を人口規模と所得水準と比較することで、生成およびサンプリングバイアスを是正する。

Figure 1: Number of observations per country.

実験結果

リサーチクエスチョン

• RQ1 COVID-19の旅行制限によって、デジタル言語コーパスにおける非ローカル人口の影響はどの程度軽減されるか？
• RQ2 パンデミック期の言語多様性の変化は、移住や言語移行などの事前のマクロトレンドとどのように区別できるか？
• RQ3 どの国と言語が、非ローカル人口の減少によって言語多様性に最も顕著な変化を受けるか？
• RQ4 ヒーファインダル＝ヒルシュマン指数（HHI）は、ソーシャルメディアデータにおける非ローカルバイアスを信頼性高く測定・是正できるか？
• RQ5 観察された言語多様性の変化は、人口構成の変化に起因するものであり、言語使用行動の変化に起因するものではないか？

主な発見

• パンデミック期（2020年7月～9月）に言語多様性に顕著な変化を示した58か国のうち79.3％は、2018年～2019年のベースライン期間には同様の変化を示さなかった。これは、変化が主にパンデミックに起因する旅行制限に起因していることを示している。
• ニュージーランドとオーストラリアでは、ツイートにおける英語の割合が、それぞれ86.26％から84.13％、89.51％から87.45％に低下した。これは、英語を母語とする観光客が減少したことにより、スペイン語やポルトガル語などの少数言語がより顕著に現れるようになったことを示している。
• 本研究では、観光客を含む非ローカルバイアスが、特にニュージーランドやオーストラリアのような観光流入の高い国において、デジタルコーパスにおける言語多様性を著しく歪めていることが特定された。
• HHIを用いた言語多様性の測定は、実世界の人口移動を的確に捉えており、非ローカルバイアスの是正にこの指標を用いる妥当性が裏付けられた。
• 人口および経済データを用いて生成およびサンプリングバイアスを是正した結果、観察された変化がデータ量の不均衡や所得に基づくサンプリング効果に起因するものではないことが確認された。
• 本手法により、パンデミックに起因する変化が広範な人口動態トレンドから隔離され、旅行制限のような自然実験を用いることで、デジタルコーパスが実世界の言語多様性を反映するように補正可能であることが示された。

Figure 2: Geographic distribution of data by region by month.