[논문 리뷰] The Readability of Tweets and their Geographic Correlation with Education

James R. A. Davenport, Robert DeLine|arXiv (Cornell University)|2014. 01. 23.

Digital Communication and Language참고 문헌 8인용 수 19

한 줄 요약

이 연구는 수정된 Flesch Reading Ease 공식을 사용하여 1,740만 개의 트윗의 독해 난이도를 분석하여, 트윗이 SMS와 같은 다른 짧은 형식의 텍스트보다 독해가 더 어려운 것으로 밝혀냈다. 또한 ZIP 코드 통합 영역(ZCTA) 수준에서 트윗의 독해 난이도와 학사 졸업률 사이에 뚜렷한 지리적 상관관계가 있음을 확인하여, 교육 수준과 관련된 지역적 언어 스타일 또는 콘텐츠 유형의 차이를 시사한다.

ABSTRACT

Twitter has rapidly emerged as one of the largest worldwide venues for written communication. Thanks to the ease with which vast quantities of tweets can be mined, Twitter has also become a source for studying modern linguistic style. The readability of text has long provided a simple method to characterize the complexity of language and ease that documents may be understood by readers. In this note we use a modified version of the Flesch Reading Ease formula, applied to a corpus of 17.4 million tweets. We find tweets have characteristically more difficult readability scores compared to other short format communication, such as SMS or chat. This linguistic difference is insensitive to the presence of "hashtags" within tweets. By utilizing geographic data provided by 2% of users, joined with "ZIP Code Tabulation Area" (ZCTA) level education data from the U.S. Census, we find an intriguing correlation between the average readability and the college graduation rate within a ZCTA. This points towards a difference in either the underlying language, or a change in the type of content being tweeted in these areas

연구 동기 및 목표

• 수정된 Flesch Reading Ease 공식을 사용하여 트윗의 독해 난이도를 평가하기.
• 트윗의 언어적 복잡성이 지리적 지역에 따라 달라지는지 조사하기.
• 트윗 독해 난이도와 지역적 교육 성취도, 특히 학사 졸업률 간의 관계를 검토하기.
• 해시태그의 존재가 독해 난이도 점수에 영향을 미치는지 확인하기.
• 교육 수준이 다른 지역 간 언어 사용의 차이가 소득 수준 등 사회경제적 지표와 어떻게 관련되는지 탐색하기.

제안 방법

• 1,740만 개의 지리적 태그가 부여된 트윗 코퍼스에 수정된 Flesch Reading Ease 공식을 적용하였다.
• 각 트윗의 평균 음절 수 per 단어와 평균 문장 내 단어 수를 기반으로 독해 난이도 점수를 산출하였다.
• 사용자 2%의 지리적 데이터를 ZIP 코드 통합 영역(ZCTA)에 매핑하여 지역 분석을 수행하였다.
• 미국 인구조사 자료에서 ZCTA 수준의 학사 졸업률을 확보하고 지역별로 집계하였다.
• 평균 트윗 독해 난이도 점수와 ZCTA 수준의 교육 통계 간 상관관계 분석을 수행하였다.
• 해시태그가 독해 난이도에 미치는 영향을 확인하기 위해 해시태그가 포함된 트윗과 포함되지 않은 트윗의 점수를 비교하였다.

실험 결과

연구 질문

• RQ1 SMS나 채팅과 같은 다른 짧은 형식의 문장과 비교할 때 트윗의 독해 난이도는 어떻게 되는가?
• RQ2 미국 전역의 다양한 지역에서 트윗의 독해 난이도에 지리적 패턴이 존재하는가?
• RQ3 지정된 지리적 지역의 학사 졸업률과 트윗 독해 난이도 간 상관관계는 어느 정도인가?
• RQ4 트윗에 해시태그가 포함될 경우 독해 난이도 점수에 영향을 미치는가?
• RQ5 교육 수준이 다른 지역 간 언어 사용이나 콘텐츠 유형의 차이가 독해 난이도의 차이를 초래하는가?

주요 결과

• SMS나 채팅과 같은 다른 짧은 형식의 커뮤니케이션과 비교해 트윗의 독해 난이도 점수가 유의미하게 낮아, 독해가 더 어려운 것으로 나타났다.
• 트윗에 해시태그가 포함되어 있어도 독해 난이도 점수에 유의미한 영향을 주지 않아, 해시태그가 언어적 복잡성을 감소시키지 않는 것으로 나타났다.
• ZCTA 수준에서 평균 트윗 독해 난이도와 학사 졸업률 간 강한 양의 상관관계가 발견되어, 교육 수준이 높은 지역에서 더 복잡한 트윗이 생성됨을 시사한다.
• 지역 언어적 차이를 보정한 후에도 상관관계가 유지되어, 교육 수준과 소셜미디어에서의 콘텐츠 또는 스타일 선택 간 잠재적 연관성이 있음을 시사한다.
• 교육 수준이 높은 지역은 더 긴 단어와 더 복잡한 문장 구조를 가진 트윗을 생성하여 독해 난이도 점수를 높이는 경향이 있다.
• 이 연구는 지역적 교육 격차를 반영하는 측정 가능한 언어적 특징이 소셜미디어에 존재함을 규명하였다.