[논문 리뷰] Multiview Deep Learning for Predicting Twitter Users' Location

Tien Huu, Duc Minh Nguyen외 3명|arXiv (Cornell University)|2017. 12. 21.

Human Mobility and Location-Based Analysis참고 문헌 47인용 수 32

한 줄 요약

이 논문은 텍스트, 네트워크, 메타데이터 특징을 통합하여 트위터 사용자의 지리적 위치를 최신 기술 수준의 정확도로 예측하는 다중시각 딥러닝 모델 MENET을 제안한다. 지구를 다중 척도의 S2 격자로 분할하고 다중 입력 신경망 아키텍처를 활용함으로써 MENET은 세 가지 벤치마크 데이터셋에서 기존 방법들을 능가하며, k-means 및 k-d 트리 기반 방법 대비 평균 오차를 30km 이상 감소시켰다.

ABSTRACT

The problem of predicting the location of users on large social networks like Twitter has emerged from real-life applications such as social unrest detection and online marketing. Twitter user geolocation is a difficult and active research topic with a vast literature. Most of the proposed methods follow either a content-based or a network-based approach. The former exploits user-generated content while the latter utilizes the connection or interaction between Twitter users. In this paper, we introduce a novel method combining the strength of both approaches. Concretely, we propose a multi-entry neural network architecture named MENET leveraging the advances in deep learning and multiview learning. The generalizability of MENET enables the integration of multiple data representations. In the context of Twitter user geolocation, we realize MENET with textual, network, and metadata features. Considering the natural distribution of Twitter users across the concerned geographical area, we subdivide the surface of the earth into multi-scale cells and train MENET with the labels of the cells. We show that our method outperforms the state of the art by a large margin on three benchmark datasets.

연구 동기 및 목표

• 희소하고 노이즈가 많은 지리정보 태그가 부족한 트위터 사용자 위치 예측 과제를 해결하기 위해.
• 콘텐츠 기반 또는 네트워크 기반 지리정보 예측 방법의 한계를 극복하기 위해 다양한 데이터 시각을 통합하기 위해.
• 다양한 트위터 특징(텍스트적, 구조적, 시간적)을 융합할 수 있는 일반적이고 확장 가능한 딥러닝 프레임워크를 개발하기 위해.
• S2, k-means, k-d 트리와 같은 다양한 지리공간 레이블링 전략이 모델 성능에 미치는 영향을 평가하기 위해.

제안 방법

• MENET은 네 가지 별개의 특징 시각을 처리하는 다중입력 신경망 아키텍처를 사용한다: 텍스트 콘텐츠에 대한 TF-IDF와 doc2vec, 사용자 상호작용 네트워크 구조에 대한 node2vec, 시간 패턴에 대한 타임스탬프 특징.
• 모델은 지구 표면을 균일하고 계층적인 셀로 나누는 다중 척도 S2 기하학 라이브러리를 사용하여 지리적 위치 기반으로 각 사용자를 지리적 클래스에 할당한다.
• 각 특징 시각은 전용 신경망 하위망을 통해 별도로 임베딩된 후 연결되어 최종 분류기 헤드를 통해 위치 예측이 이루어진다.
• 정확한 좌표 추정이라는 회귀 과제는 S2 셀 중심점을 클래스 레이블로 사용하는 다중 클래스 분류 문제로 재정의된다.
• 모델은 벤치마크 데이터셋에서 최적 성능를 내기 위해 초모수를 조정한 후 엔드 투 엔드로 훈련되며, 교차 엔트로피 손실을 사용한다.
• 이 프레임워크는 유도 일반화를 지원하며, 평가된 바깥의 추가 특징 유형을 통합하는 데에도 확장 가능하다.

실험 결과

연구 질문

• RQ1 텍스트, 네트워크, 메타데이터 등의 다중 특징 시각을 통합함으로써 단일 특징 기반 접근법 대비 트위터 사용자 지리정보 예측 정확도가 어떻게 향상되는가?
• RQ2 S2, k-means, k-d 트리와 같은 다양한 지리공간 분할 전략이 딥러닝 기반 지리정보 예측 모델의 성능에 어떤 영향을 미치는가?
• RQ3 TF-IDF, node2vec, doc2vec, 타임스탬프 등의 개별 특징 유형이 MENET 모델의 전체 성능에 기여하는 정도는 어느 정도인가?
• RQ4 다중시각 딥러닝 접근법이 여러 벤치마크 데이터셋에서 기존 최신 기술 수준의 방법들을 능가할 수 있는가?

주요 결과

• S2 레이블을 사용할 경우 MENET은 GeoText 데이터셋에서 평균 거리 오차 552km를 기록하여 k-means(538km) 및 k-d 트리(573km) 분할 전략을 능가한다.
• S2 기반 레이블링은 k-d 트리 대비 평균 오차를 30km 이상 감소시키며, k-means 대비 중앙값 오차를 50% 이상 개선한다.
• node2vec 특징을 제거하면 성능 저하가 가장 심각하여 평균 오차가 894km로 증가하고, @161 정확도는 36.5%로 감소하여 그 중요성이 명확히 드러난다.
• S2 레이블을 사용할 경우 모델은 @161 정확도 62.1%를 기록하여 k-means(61.0%) 및 k-d 트리(53.8%) 분할 방법보다 높은 성능을 보였다.
• TF-IDF, doc2vec, node2vec, 타임스탬프의 네 가지 특징 유형을 모두 통합할 경우 최고의 성능를 기록하였으며, 각 특징이 최종 정확도 향상에 의미 있는 기여를 하였다.
• S2 분할 전략은 k-means 및 k-d 트리 대비 더 높은 안정성과 유연성을 제공하여, 확장 가능하고 재현 가능한 지리정보 예측 모델링에 더 적합하다.