[논문 리뷰] A Probabilistic Framework for Location Inference from Social Media

Yujie Qian, Jie Tang외 4명|arXiv (Cornell University)|2017. 02. 23.

Human Mobility and Location-Based Analysis참고 문헌 43인용 수 13

한 줄 요약

이 논문은 컨텐츠, 소셜 네트워크, 딥 네트워크 임베딩을 통합하여 소셜 미디어에서 사용자 위치를 추론하는 준지도 기반 인과 그래프 모델(SSFGM)을 제안한다. 새로운 이중 체인 샘플링(TCS) 알고리즘을 사용하여 기존의 루프가 있는 신뢰 전파(LBP)에 비해 100배 이상의 속도 향상을 달성하면서도 트위터와 웨이보 데이터셋에서 높은 정확도를 유지한다.

ABSTRACT

We study the extent to which we can infer users' geographical locations from social media. Location inference from social media can benefit many applications, such as disaster management, targeted advertising, and news content tailoring. The challenges, however, lie in the limited amount of labeled data and the large scale of social networks. In this paper, we formalize the problem of inferring location from social media into a semi-supervised factor graph model (SSFGM). The model provides a probabilistic framework in which various sources of information (e.g., content and social network) can be combined together. We design a two-layer neural network to learn feature representations, and incorporate the learned latent features into SSFGM. To deal with the large-scale problem, we propose a Two-Chain Sampling (TCS) algorithm to learn SSFGM. The algorithm achieves a good trade-off between accuracy and efficiency. Experiments on Twitter and Weibo show that the proposed TCS algorithm for SSFGM can substantially improve the inference accuracy over several state-of-the-art methods. More importantly, TCS achieves over 100x speedup comparing with traditional propagation-based methods (e.g., loopy belief propagation).

연구 동기 및 목표

• 소셜 미디어에서 레이블이 부족한 데이터로 사용자 지리적 위치를 추론하는 과제를 해결한다.
• 위치 추론이 계산적으로 비용이 많이 드는 대규모 소셜 네트워크에서의 확장성 문제를 해결한다.
• 컨텐츠, 네트워크 구조, 학습된 딥 특징 등 다양한 정보 소스를 통합하는 유연하고 일반화 가능한 모델을 개발한다.
• 작은 레이블 데이터와 큰 언레이블 데이터를 효과적으로 활용할 수 있는 준지도 학습을 가능하게 한다.
• 정확도를 희생시키지 않고 백만 단위의 소셜 네트워크에서도 빠른 추론이 가능한 효율적인 추론 알고리즘을 설계한다.

제안 방법

• 컨텐츠, 소셜 네트워크, 잠재적 특징 표현을 통합하는 준지도 기반 인과 그래프 모델(SSFGM)로 위치 추론을 수식화한다.
• 사용자 컨텐츠와 네트워크 구조에서부터 깊이 있는 저차원 표현을 학습하기 위해 이중층 신경망을 훈련한다.
• 학습된 잠재적 특징을 추가 잠재 함수로 통합하여 모델의 정밀도를 향상시킨다.
• 두 개의 병렬 마르코프 체인을 사용하여 후행 분포를 효율적으로 근사하는 새로운 추론 방법인 이중 체인 샘플링(TCS) 알고리즘을 제안한다.
• TCS 알고리즘을 병렬화 및 확장 가능하도록 설계하여 전체 그래프 전파에 의존하는 것 없이 대규모 네트워크에서 빠른 추론이 가능하도록 한다.
• 기존의 루프가 있는 신뢰 전파(LBP)와 같은 전통적 방법에 비해 높은 계산 비용을 피하기 위해 샘플링 기반 추론을 사용한다.

실험 결과

연구 질문

• RQ1 컨텐츠, 소셜 네트워크 구조, 학습된 딥 특징을 효과적으로 통합하여 사용자 위치 추론을 수행할 수 있는가?
• RQ2 레이블이 부족한 소수의 사용자만 존재할 때 준지도 기반 확률 모델이 정확도를 향상시킬 수 있는가?
• RQ3 백만 노드 규모의 소셜 네트워크에 대해 정확도를 희생시키지 않고 위치 추론을 확장할 수 있는가?
• RQ4 컨텐츠, 프로필, 네트워크 특징 중 각각이 위치 예측 성능에 기여하는 상대적 기여도는 얼마인가?
• RQ5 샘플링 기반 추론 알고리즘이 기존의 전파 방법에 비해 정확도는 유지하면서도 수십 배에서 수백 배의 속도 향상을 달성할 수 있는가?

주요 결과

• 이중 체인 샘플링(TCS) 알고리즘은 루프가 있는 신뢰 전파(LBP)에 비해 100배 이상의 속도 향상을 달성하여, 소규모 데이터셋에서 학습 시간을 16.8분에서 9초 이하로 단축시켰다.
• 대규모 트위터 및 웨이보 데이터셋에서 TCS로 훈련된 SSFGM은 기존의 GCN 및 LBP와 같은 방법들을 능가하는 최신 기술 수준의 정확도를 달성했다.
• 컨텐츠 기반 특징이 위치 예측에 가장 크게 기여하며, 제거 시 정확도가 12.5% 감소한다. 그 다음으로 네트워크 특징과 프로필 특징이 기여한다.
• 레이블이 10% 밖에 없는 경우에도 모델은 강력한 성능을 유지하며, 학습 데이터가 증가할수록 정확도가 점진적으로 향상된다. 이는 기준 모델인 로지스틱 회귀와는 대조적이다.
• 백만 규모의 데이터셋에서 TCS는 단일 GPU에서 1~2시간 내로 학습을 완료하는 데에 그치며, GCN의 경우 11시간 이상 소요되는 것을 고려하면 훨씬 뛰어난 확장성을 보였다.
• TCS를 적용한 SSFGM은 소규모 페이스북 데이터셋에서 91.23%의 정확도를 기록했으며, LBP와 동일한 성능을 달성하면서도 118배 더 빠른 속도를 보였다.