[論文レビュー] Mapping Languages and Demographics with Georeferenced Corpora

Jonathan Dunn, Benjamin Adams|arXiv (Cornell University)|Jan 1, 2019

Authorship Attribution and Profiling参考文献 23被引用数 6

ひとこと要約

本研究では、地理的参照付きのウェブクロールドおよびTwitterコーパスを、母集団の人口統計および言語に関するセンサスデータと比較して、世界人口の代表性を評価する。Twitterデータは実際の人口統計と相関が強く（r = 0.60）、ウェブクロールドデータ（r = 0.49）よりも優れている。また、国ごとの多言語言語インventoriesの予測にも優れているが、両方のデータセットとも東ヨーロッパや裕福な国々において地域的バイアスを示している。

ABSTRACT

This paper evaluates large georeferenced corpora, taken from both web-crawled and social media sources, against ground-truth population and language-census datasets. The goal is to determine (i) which dataset best represents population demographics; (ii) in what parts of the world thedatasets are most representative of actual populations; and (iii) how to weight the datasets to provide more accurate representations of underlying populations. The paper finds that the two datasets represent very different populations and that they correlate with actual populations with values of r = 0:60 (social media) and r = 0:49 (web-crawled). Further, Twitter data makes better predictions about the inventory of languages used in each country.

研究の動機と目的

• 大規模な地理的参照付きコーパスが現実の人口統計をどの程度適切に反映しているかを評価すること。
• これらのコーパスが実際に人口を最も・最も不適切に反映している地理的地域を特定すること。
• ユーザ生成コンテンツからの国レベルの言語使用を捉える言語識別モデルの有効性を評価すること。
• データセットの重み付けが、デジタルテキストコーパスにおける人口統計の正確性を向上させられるかどうかを特定すること。

提案手法

• 2014–2017年のCommon Crawl（ウェブクロールド、166.5億語）および2017–2019年のTwitter（41.4億語）から、上位ドメイン（TLD）または都市ベースの空間検索による地理的参照を取得した。
• 信頼性を確保するため、50文字以上の最小長を満たすテキストに言語識別モデルを適用し、言語コードを付与した。
• コーパスベースの言語頻度と人口プロキシを、UNの人口推計、一人当たりGDP、インターネット利用状況、UN/World Factbookの言語センサスという4つの基準データと比較した。
• コーパスデータと基準データとの間のピアソン相関係数（Pearson r）を用いて、代表性を評価した。
• 母集団の5%以上を占める言語を基準として、コーパスの言語インベントリとセンサスベースの言語使用閾値を比較し、真陽性および偽陽性率を測定した。
• 特に東ヨーロッパおよび高GDP国において顕著な地域的バイアスを特定するため、国レベルの分析を実施。また、人口の歪みを是正するための重み付け戦略の検討も行った。

実験結果

リサーチクエスチョン

• RQ1 地理的参照付きのウェブクロールドおよびソーシャルメディアコーパスは、現実の世界の人口統計をどの程度適切に反映しているか？
• RQ2 ウェブクロールドとTwitterのどちらのデータセットが、各国における実際に使われている言語の真の分布をよりよく反映しているか？
• RQ3 これらのコーパスが現実の人口を最も・最も不適切に反映している地理的地域はどこか？
• RQ4 これらのコーパスでは、どの程度の偽陽性言語検出が発生しており、その要因として地域的過剰予測がどのように説明できるか？
• RQ5 重み付け戦略によって、コーパスベースの人口表現における人口統計の正確性を向上させられるか？

主な発見

• Twitterデータは、実際の人口推計と相関が強く（r = 0.60）、ウェブクロールドデータ（r = 0.49）よりも人口統計の代表性が優れている。
• 特に北米およびオセアニアにおいて、Twitterデータは国で使われている言語の全インベントリを、ウェブクロールドデータよりも正確に予測している。
• 偽陽性言語検出はTwitterデータでより多く発生しており、ロシア、米国、カナダ、南アフリカ、オーストラリアのヨーロッパ言語において顕著で、旅行、ビジネス、移住の影響による過剰代表が原因と考えられる。
• ウェブクロールドデータは全体として偽陽性が少ないが、依然として東ヨーロッパが過剰に代表されており、TLD使用率が高く（全コーパスの27.4%、世界人口の2.4%）、その影響を受けている。
• 言語センサスデータが乏しいまたは欠落している国々は依然として評価が困難であるが、本手法によりデータが乏しい地域でも予測が可能になる。
• 両コーパスに体系的なバイアスが存在することが判明。Twitterは裕福で都市部に偏った人口を優遇しており、GDPやインターネット利用状況に基づく重み付けにより、代表性が向上すると示唆された。