[論文レビュー] Two Tales of the World: Comparison of Widely Used World News Datasets GDELT and EventRegistry

Haewoon Kwak, Jisun An|arXiv (Cornell University)|Mar 7, 2016

Data Management and Algorithms被引用数 12

ひとこと要約

この論文は、規模、ニュースソース、ニュース地理の観点から、世界的なニュースデータセットとして広く使われているGDELTとEventRegistryを比較している。量的・ソース多様性の面で顕著な差異がある一方（GDELTはEventRegistryの2.26〜6.43倍の記事をインデックス化し、64.1言語をカバーするのに対し、EventRegistryは14言語）、国名の言及によるニュース地理の測定では高い相関（Spearmanのρ = 0.867）を示しており、根底にあるデータ格差にもかかわらず、一貫した世界的なニュース報道パターンがあることを示している。

ABSTRACT

In this work, we compare GDELT and Event Registry, which monitor news articles worldwide and provide big data to researchers regarding scale, news sources, and news geography. We found significant differences in scale and news sources, but surprisingly, we observed high similarity in news geography between the two datasets.

研究の動機と目的

• GDELTとEventRegistryという2つの広く使われている世界規模ニュースデータセットの規模、ニュースソースの多様性、地理的カバレッジを評価・比較すること。
• これらのリソースを計算ジャーナリズムおよび社会科学研究で使用する研究者に与える、データセットの差異の意味を評価すること。
• 異なるデータ収集方法が、とりわけ国レベルのメディア注目度という観点から、異なる世界的なニュース表現を生じるかどうかを調査すること。
• データプロバンスと限界を理解することの重要性を強調しつつ、データセット選定と使用に関する実証的ガイダンスを提供すること。

提案手法

• 時間的変動を避けるために、2015年3月から12月までの各月の初日をサンプルとして選定し、比較可能性を確保した。
• GDELTデータは圧縮された毎日のダンプファイル（英語およびトランスリンガル）を介して収集されたのに対し、EventRegistryデータは公開APIを用い、ページネーションと日付制限を適用して取得された。
• ニュース地理は、各国が言及された記事数を数えることで定量化され、GDELTではV2ENHANCEDLOCATIONSフィールド、EventRegistryでは場所メタデータが使用された。
• 両データセットのニュース地理を比較するために、スピアマン順位相関を用いた相関分析が実施され、国レベルのメディア注目度の類似性が測定された。
• ソースレベルの分析では、ユニークなウェブサイト数、言語分布、各ソースごとの記事量の比較が行われた。
• 記事量トレンドとソース特性との関係を評価するため、ピアソン相関とスピアマンのrhoを含む統計的検定が適用された。

実験結果

リサーチクエスチョン

• RQ1 GDELTとEventRegistryの規模とソース多様性は、同じ期間においてどのように比較できるか？
• RQ2 2つのデータセットは、言語カバレッジと言語別記事配分においてどの程度異なるか？
• RQ3 GDELTとEventRegistryの間で、国レベルの記事言及という観点から測定されたニュース地理はどの程度類似しているか？
• RQ4 ニュースソースのウェブトラフィックと、各データセットにおける記事出力量の間にどのような関係があるか？
• RQ5 2つのプラットフォームにおける記事量の時間的パターンはどのように異なるか？その違いを引き起こす要因は何か？

主な発見

• GDELTは1日あたりEventRegistryの2.26〜6.43倍の記事をインデックス化しており、両者の1日あたり記事量にはピアソン相関係数r = 0.57（p = 0.08）が認められた。
• GDELTは1日あたり平均64.1言語をカバーしているが、EventRegistryは14言語にとどまっている。ただし、上位10言語は両データセットでほぼ同一である。
• ソース選定の差異にもかかわらず、両データセットのニュース地理は高い相関を示しており（Spearmanのρ = 0.867、p = 1.896e-74）、一貫した世界的なメディア注目パターンがあることを示している。
• 両データセットの上位10%のニュースソースが全記事の約80%を占めているが、ソースのウェブトラフィックと記事出力量との間に有意な相関は認められなかった（ρ = 0.17、p = 0.10）。
• GDELTは放送・印刷・オフラインソースからの収集を主張しているが、実際には99.9%がウェブソースからのものであり、非ウェブソースは0.1%にとどまり、主にBBCモニタリングがその源である。
• 両データセットはGDELTの63,268ソースのうち13,867、EventRegistryの20,754ソースのうち13,867を共有しており、ウェブベースのニュースに焦点を当てているにもかかわらず、重複は限定的であることが示された。