[논문 리뷰] Inferring the location of authors from words in their texts

Max Berggren, Jussi Karlgren외 2명|arXiv (Cornell University)|2016. 12. 20.

Natural Language Processing Techniques참고 문헌 11인용 수 6

한 줄 요약

이 논문은 저자들의 글에서 단어 사용 방식을 분석하여 지리적 기원을 추론하는 분포적 의미론적 접근을 제안한다. 다점 피크 지리적 분포를 포착하기 위해 가우시안 혼합 모델을 사용하고, 장소 특성 기준 임계값을 통해 지리적으로 중요한 어휘를 필터링한다. 이 방법은 기준 모델보다 유의미하게 뛰어난 정확도를 달성하며, 가중 중심 또는 투표 전략을 통해 필터링된 어휘 신호를 통합함으로써 스웨덴어에서 지역적 언어적 변이를 효과적으로 탐지할 수 있다.

ABSTRACT

For the purposes of computational dialectology or other geographically bound text analysis tasks, texts must be annotated with their or their authors' location. Many texts are locatable through explicit labels but most have no explicit annotation of place. This paper describes a series of experiments to determine how positionally annotated microblog posts can be used to learn location-indicating words which then can be used to locate blog texts and their authors. A Gaussian distribution is used to model the locational qualities of words. We introduce the notion of placeness to describe how locational words are. We find that modelling word distributions to account for several locations and thus several Gaussian distributions per word, defining a filter which picks out words with high placeness based on their local distributional context, and aggregating locational information in a centroid for each text gives the most useful results. The results are applied to data in the Swedish language.

연구 동기 및 목표

• 명시적인 위치 메타데이터가 없는 상황에서 저자의 지리적 기원을 추론하기 위한 계산적 방법을 개발하기 위해.
• 언어의 어휘적 및 분포적 신호만을 사용하여 텍스트나 저자를 위치 파악하는 데 도전하기 위해.
• 단어의 다점 피크 지리적 분포를 모델링하고 고장소성 어휘를 필터링함으로써 기존 지리적 기원 추론 방법을 향상시키기 위해.
• 풍부한 텍스트 애너테이션을 통해 스웨덴어에서 지역적 언어적 변이를 대규모 자동 탐지할 수 있도록 하기 위해.

제안 방법

• 세 구성 요소(위도, 경도, 장소성)를 가진 가우시안 혼합 모델을 사용하여 단어의 지리적 분포를 모델링하여 다점 피크 지리적 신호를 표현하기 위해.
• 어휘가 특정 지리적 위치를 얼마나 강하게 나타내는지 측정하는 '장소성'을 정의하며, 이는 분포적 맥락에서 유도된다.
• 지리적 태그가 부여된 마이크로블로그 게시물에서의 공현 패턴을 분석하여 장소성이 높은 어휘를 식별하기 위해 분포 기반 필터링 절차를 적용한다.
• 텍스트 길이와 빈도에 따라 결정된 임계값을 초과하는 장소성 점수를 가진 어휘만을 유지하여 텍스트를 필터링한다.
• 두 가지 전략을 사용하여 지리적 정보를 통합한다: 장소성에 따라 가중치를 부여한 어휘 위치의 산술 평균인 가중 중심과 50×50km 격자에서의 가중 다수결 투표.
• 지리적 태그가 부여된 스웨덴 마이크로블로그 게시물(예: 트위터)을 학습 데이터로 사용하고, 이를 이용해 레이블이 없는 블로그 텍스트에 적용하여 저자의 위치를 추론한다.

실험 결과

연구 질문

• RQ1 다점 피크 지리적 분포를 가진 어휘들이 효과적으로 모델링될 수 있는가? 이는 저자 위치 추론 성능 향상에 기여하는가?
• RQ2 분포적 맥락에 기반한 장소성 기준으로 어휘를 필터링할 경우 지리적 기원 추정 성능에 어떤 영향을 미치는가?
• RQ3 가중 중심 또는 다수결 투표 전략을 통해 지리적 신호를 통합할 경우, 직접 지명사전 기반 할당보다 더 나은 성능을 내는가?
• RQ4 마이크로블로그에서 학습한 모델이 다른 장르의 블로그 텍스트에서 위치를 추론하는 데 얼마나 잘 전이될 수 있는가?
• RQ5 이 방법을 통해 스웨덴 방언 간 어휘 사용의 지역적 변이를 탐지하고 정량화할 수 있는가?

주요 결과

• 장소성에 따라 가중 평균을 사용하는 '필터링된 중심' 모델이, '필터링된 투표' 모델과 지명사전 기반 기준 모델보다 지리적 기원 추정 정확도에서 뛰어난 성능을 보였다.
• 분포적 맥락과 장소성 임계값을 사용한 어휘 필터링으로 인해 사용된 어휘 수가 약 94% 감소(원래 텍스트 크기의 약 6%)했고, 이로 인해 성능 향상이 이루어졌다.
• 모델은 레이블이 없는 블로그 코퍼스의 38%를 성공적으로 위치 태그로 보완하여 지역적 언어적 변이 탐지 성능을 향상시켰다.
• 최적의 성능는 장소성 임계값 log T = 20에서 달성되었으며, 이는 정밀도-재현율 트레이드오프를 효과적으로 지원하는 결과를 보였다.
• 이 방법은 '두 번째 사촌'이라는 어휘의 지역적 변이 분석과 같은 세밀한 지역 어휘 사용 분석이 가능했으며, 그 예시는 그림 5에서 제시되었다.
• 기존 연구와 유사한 성능를 보였으며, 마이크로블로그 사용자에 대해 160km 이내 정확도가 10%였고, 미국 주 단위 정확도는 24%였으며, 스웨덴어 텍스트에 대해 뛰어난 성능를 입증하였다.