[논문 리뷰] A Hierarchical Location Prediction Neural Network for Twitter User Geolocation

Binxuan Huang, Kathleen M. Carley|arXiv (Cornell University)|2019. 10. 28.

Human Mobility and Location-Based Analysis참고 문헌 38인용 수 6

한 줄 요약

이 논문은 사용자의 국가를 먼저 예측한 다음 그 결과를 바탕으로 도시 수준의 지리적 위치를 안내하는 계층적 위치 예측 신경망(HLPNN)을 제안한다. 문자 인식 단어 임베딩, 트랜스포머 인코더, 다중 수준 주의 메커니즘을 통합하여 HLPNN은 트위터 지리적 위치 기준 테스트에서 최신 기술 수준(SOTA) 성능을 달성하며, 평균 오차 거리를 줄이고 다양한 기능 설정에서 정확도를 향상시킨다.

ABSTRACT

Accurate estimation of user location is important for many online services. Previous neural network based methods largely ignore the hierarchical structure among locations. In this paper, we propose a hierarchical location prediction neural network for Twitter user geolocation. Our model first predicts the home country for a user, then uses the country result to guide the city-level prediction. In addition, we employ a character-aware word embedding layer to overcome the noisy information in tweets. With the feature fusion layer, our model can accommodate various feature combinations and achieves state-of-the-art results over three commonly used benchmarks under different feature settings. It not only improves the prediction accuracy but also greatly reduces the mean error distance.

연구 동기 및 목표

• 기존 신경망 모델이 지리적 위치의 계층적 구조(예: 국가 대비 도시)를 忽시하는 데에 대응하기 위해.
• 소셜 미디어 텍스트의 노이즈와 비공식적 언어를 다루기 위해 OOV(Out-of-Vocabulary) 및 비공식어 처리에 효과적인 문자 인식 단어 임베딩을 활용하여 지리적 위치 정확도를 향상시키기 위해.
• 국가 수준의 지도 신호를 지도로 사용하여 도시 수준 예측의 평균 오차 거리를 줄이기 위해.
• 텍스트, 메타데이터, 네트워크 기능의 다양한 조합을 지원할 수 있는 유연한 모델 아키텍처를 설계하기 위해.

제안 방법

• 모델은 두 단계로 구성된 계층적 예측을 수행한다: 먼저 사용자의 거주 국가를 예측하고, 그 결과를 바탕으로 도시 수준의 지리적 위치를 안내한다.
• 원시 텍스트를 처리하기 위해 문자 인식 CNN 레이어를 사용하여 형태학적 특징을 포착하고 OOV 단어를 효과적으로 다루는 강력한 단어 표현을 생성한다.
• 멀티헤드 주의 메커니즘을 갖춘 트랜스포머 인코더는 텍스트, 메타데이터, 네트워크 기능 간의 상호 연관성을 학습한다.
• 분야 수준 및 단어 수준의 주의 메커니즘을 적용하여 각 입력 모odal 내의 주목할 만한 특징에 집중한다.
• 국가 수준 및 도시 수준 지도 신호를 균형 있게 조정하기 위해 학습 가능한 가중치 α를 갖는 다중 작업 손실 함수를 사용한다.
• 공유 및 병렬 트랜스포머 인코더를 통해 특징 융합을 달성하며, 두 예측 헤드를 분리하면서도 기능 간 상호의존성을 유지한다.

실험 결과

연구 질문

• RQ1 국가 → 도시로의 계층적 지리적 구조를 통합하면 트위터 사용자 지리적 위치 예측 모델의 정확도와 견고성이 향상되는가?
• RQ2 소셜 미디어 텍스트의 노이즈와 비공식성에 대응하기 위해 문자 인식 단어 임베딩이 지리적 위치 작업에서 얼마나 효과적인가?
• RQ3 국가 수준 예측을 지도 신호로 사용하면 도시 수준 예측의 평균 오차 거리가 감소하는가?
• RQ4 트랜스포머 기반 주의 메커니즘은 다양한 입력 모달(텍스트, 메타데이터, 네트워크) 간의 특징 표현 학습을 얼마나 향상시키는가?
• RQ5 기존 최신 기술 수준 방법과 비교해 볼 때, 모델은 텍스트, 메타데이터, 네트워크 기능의 다양한 조합에서 어떻게 성능을 내는가?

주요 결과

• HLPNN은 텍스트 기능만을 사용할 경우 WNUT에서 최고 37.3%의 정확도로 세 가지 벤치마크 데이터셋(WNUT, GeoNames, Twitter-15)에서 다양한 기능 설정에서 최신 기술 수준 성능을 달성한다.
• WNUT 데이터셋에서 평균 오차 거리를 1,289.4 km로 줄여 기존 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험 결과, 문자 인식 단어 임베딩이 성능 향상에 가장 기여하며, 이를 사용하지 않은 모델 대비 평균 오차 거리를 140 km 이상 감소시켰다.
• α = 20일 때 국가 수준 지도 신호를 적용하면 상대적 국가 오류(틀린 국가에 속한 도시)가 26.2%에서 23.1%로 감소하여 지리적 일관성이 향상됨을 입증했다.
• 분야 수준 주의는 성능 향상에 미미한 기여를 하였으며, 트랜스포머 인코더가 이미 효과적으로 기능 간 상호의존성을 포착하고 있음을 시사한다.
• 텍스트 전용, 텍스트+메타데이터, 텍스트+네트워크, 전체 기능 설정 등 모든 기능 조합에서 뛰어난 성능을 유지하여 모델의 유연성과 견고성을 입증했다.