[논문 리뷰] Where in the World are You? Geolocation and Language Identification in Twitter

Mark Graham, Scott A. Hale외 1명|Oxford University Research Archive (ORA) (University of Oxford)|2013. 08. 03.

Multilingual Education and Policy참고 문헌 4인용 수 11

한 줄 요약

이 논문은 세 가지 언어 탐지 도구를 트위터의 UI 언어 설정과 인간 검증 레이블과 비교하여 트위터에서 자동화된 지리적 위치 특정 및 언어 식별 방법을 평가한다. 연구 결과, 사용자가 제공한 프로필 위치는 실제 물리적 위치의 우수한 대체자로 기능하지 못하며, 언어 식별 도구의 정확도는 상당한 차이를 보이며, 소셜 미디어 연구에서 철저한 방법론적 선택이 필요함을 시사한다.

ABSTRACT

The movements of ideas and content between locations and languages are unquestionably crucial concerns to researchers of the information age, and Twitter has emerged as a central, global platform on which hundreds of millions of people share knowledge and information. A variety of research has attempted to harvest locational and linguistic metadata from tweets in order to understand important questions related to the 300 million tweets that flow through the platform each day. However, much of this work is carried out with only limited understandings of how best to work with the spatial and linguistic contexts in which the information was produced. Furthermore, standard, well-accepted practices have yet to emerge. As such, this paper studies the reliability of key methods used to determine language and location of content in Twitter. It compares three automated language identification packages to Twitter's user interface language setting and to a human coding of languages in order to identify common sources of disagreement. The paper also demonstrates that in many cases user-entered profile locations differ from the physical locations users are actually tweeting from. As such, these open-ended, user-generated, profile locations cannot be used as useful proxies for the physical locations from which information is published to Twitter.

연구 동기 및 목표

• 트위터 데이터에서 자동화된 언어 식별 도구의 신뢰성 평가
• 사용자가 입력한 프로필 위치가 실제 물리적 위치를 얼마나 잘 대체하는지 평가
• 자동화된 언어 탐지 방법을 트위터의 UI 언어 설정과 인간 검증 레이블과 비교
• 트위터 콘텐츠에서 언어 메타데이터와 실제 지리적 위치 간 괴리 분석
• 트위터 데이터를 활용한 지리적 위치 특정 및 언어 식별 분야에서 연구자들에게 근거 기반 지침 제공

제안 방법

• 세 가지 자동화된 언어 식별 패키지(예: langdetect, fastText, 기타)를 인간 검증 언어 레이블과 비교
• 언어 식별의 기준으로 트위터의 UI 언어 설정을 사용
• 사용자가 제공한 프로필 위치를 수집하고 실제 트윗의 지리적 위치 데이터와 비교
• 트윗 콘텐츠의 인간 코딩을 통해 기준 언어 레이블 확립
• 자동화된 도구, UI 언어, 인간 레이블 간 일치도를 측정하기 위한 통계 분석 수행
• 지리적 좌표를 활용해 프로필 위치와 실제 트윗 위치 간 공간적 불일치 평가

실험 결과

연구 질문

• RQ1 트위터에서 인간 검증 언어 레이블과 비교할 때 자동화된 언어 식별 도구의 정확도는 어느 정도인가?
• RQ2 트위터 프로필의 사용자 제공 프로필 위치가 트윗이 발행된 실제 지리적 위치를 어느 정도 반영하는가?
• RQ3 트위터의 UI 언어 설정이 트윗 콘텐츠의 실제 언어와 얼마나 일치하는가?
• RQ4 자동화된 언어 탐지 도구와 인간 검증 레이블 간 불일치의 원인은 무엇인가?
• RQ5 사용자가 제공한 프로필 위치는 트위터 데이터 분석에서 물리적 지리적 위치를 신뢰할 수 있게 대체로 사용할 수 있는가?

주요 결과

• 트위터의 사용자가 제공한 프로필 위치는 자주 부정확하며, 트윗이 발행된 실제 물리적 위치를 신뢰성 있게 반영하지 못함.
• 자동화된 언어 식별 도구의 성능은 상당한 차이를 보이며, 일부 도구는 동일한 데이터셋에서 90% 이상의 정확도를 달성하는 반면, 다른 도구는 80% 이하에 머무름.
• 트위터의 UI 언어 설정은 트윗 콘텐츠의 언어와 일관되게 일치하지 않아 일부 경우에서 잘못 분류됨.
• 프로필 위치와 실제 트윗 위치 간 괴리는 널리 퍼져 있으며, 많은 사용자가 자신의 지리적 기원과 일치하지 않는 위치를 기재함.
• 인간 검증 언어 레이블은 자동화된 도구나 트위터의 UI 언어 설정보다 더 신뢰할 수 있는 기준이 됨.
• 이 연구는 어떤 단일 자동화 도구도 모든 언어 및 지리적 맥락에서 항상 다른 도구를 능가하지는 않음을 드러내며, 맥락 인식 기반의 방법 선택이 필요함을 강조함.