[論文レビュー] The Readability of Tweets and their Geographic Correlation with Education

James R. A. Davenport, Robert DeLine|arXiv (Cornell University)|Jan 23, 2014

Digital Communication and Language参考文献 8被引用数 19

ひとこと要約

本研究では、1740万件のツイートの読みやすさを、改変されたFlesch Reading Ease式を用いて分析した。その結果、ツイートはSMSなどの他の短文形式の文章よりも読みにくく、地域ごとの言語的スタイルやコンテンツタイプに教育水準の違いが関連している可能性を示唆する。

ABSTRACT

Twitter has rapidly emerged as one of the largest worldwide venues for written communication. Thanks to the ease with which vast quantities of tweets can be mined, Twitter has also become a source for studying modern linguistic style. The readability of text has long provided a simple method to characterize the complexity of language and ease that documents may be understood by readers. In this note we use a modified version of the Flesch Reading Ease formula, applied to a corpus of 17.4 million tweets. We find tweets have characteristically more difficult readability scores compared to other short format communication, such as SMS or chat. This linguistic difference is insensitive to the presence of "hashtags" within tweets. By utilizing geographic data provided by 2% of users, joined with "ZIP Code Tabulation Area" (ZCTA) level education data from the U.S. Census, we find an intriguing correlation between the average readability and the college graduation rate within a ZCTA. This points towards a difference in either the underlying language, or a change in the type of content being tweeted in these areas

研究の動機と目的

• 改変されたFlesch Reading Ease式を用いて、ツイートの読みやすさを評価すること。
• ツイートにおける言語的複雑さが地理的に異なる地域でどのように変化するかを調査すること。
• ツイートの読みやすさと地域の教育達成度（特に大学卒業率）との関係を検討すること。
• ハッシュタグの有無が読みやすさスコアに与える影響を特定すること。
• 教育水準の異なる地域における言語使用の違いが、教育水準などの社会経済的指標とどの程度相関するかを調査すること。

提案手法

• 1740万件の位置情報が付加されたツイートのコーパスに、改変されたFlesch Reading Ease式を適用した。
• 各ツイートの平均語節数および平均文長に基づいて、読みやすさスコアを算出した。
• 2%のユーザーの位置情報データをZIPコード統合地域（ZCTA）にマッピングし、地域別分析を行った。
• 米国国勢調査データからZCTAレベルの大学卒業率を取得し、地域別に集計した。
• 平均的なツイートの読みやすさスコアとZCTAレベルの教育統計との間で相関分析を実施した。
• ハッシュタグの有無による読みやすさへの影響を検証するため、ハッシュタグ付きとなしのツイートのスコアを比較した。

実験結果

リサーチクエスチョン

• RQ1 ツイートの読みやすさは、SMSやチャットなどの他の短文形式の文章と比べてどうか？
• RQ2 米国各地域において、ツイートの読みやすさに地理的なパターンは存在するか？
• RQ3 ある地域の大学卒業率とツイートの読みやすさとの間には、どの程度の相関関係があるか？
• RQ4 ツイートにハッシュタグが含まれることで、その読みやすさスコアに影響を与えるか？
• RQ5 教育水準の異なる地域における読みやすさの差は、言語使用やコンテンツタイプの違いに起因するか？

主な発見

• ツイートは、SMS やチャットなどの他の短文形式の文章よりも顕著に低い読みやすさスコアを示しており、読解がより難しいことを示している。
• ツイートにハッシュタグが含まれても、その読みやすさスコアに顕著な変化はなく、ハッシュタグが言語的複雑さを低下させないことを示唆している。
• 平均的なツイートの読みやすさとZCTAレベルの大学卒業率との間に強い正の相関が確認され、教育水準の高い地域ではより複雑なツイートが生成されていることが示された。
• 地域の言語的差異を補正した後でも相関関係が維持されることから、教育水準とソーシャルメディアにおけるコンテンツやスタイルの選択との間には潜在的な関連がある可能性がある。
• 教育水準の高い地域では、より長い単語やより複雑な文構造を含むツイートが多く生成されており、これが読みやすさスコアの上昇に寄与している。
• 本研究では、地域の教育格差を反映する明確な言語的サインがソーシャルメディアに存在することが同定された。