[논문 리뷰] Mining online social networks with Python to study urban mobility

Antònia Tugores, Pere Colet|arXiv (Cornell University)|2014. 04. 25.

Human Mobility and Location-Based Analysis인용 수 4

한 줄 요약

이 논문은 Tweepy API와 MongoDB NoSQL 데이터베이스를 사용하여 지리적 위치가 기록된 트위터 데이터를 채굴하기 위한 확장 가능한 파이썬 기반 파이프라인을 제시한다. 8억 5천만 건 이상의 트윗을 효율적으로 저장하고 쿼리함으로써, 도시 내 인간 이동 패턴을 연구할 수 있다. 이 시스템은 지리공간 쿼리의 70%에 대해 10초 이내 응답 시간을 달성하여 바르셀로나와 런던과 같은 도시에서 인간 이동 패턴의 강력한 분석을 가능하게 한다.

ABSTRACT

On-line social networks have grown quickly over the last few years and nowadays many people use them frequently. Furthermore the emergence of smartphones allows to access these networks any time from any physical location. Among the social networks, Twitter offers a particularly large set of data publicly available. Here we discuss the procedure to mine this data and store it in distributed databases using Python scripts. We also illustrate how geolocated tweets can be used to study the mobility of people in urban areas.

연구 동기 및 목표

• 도시 이동 연구를 위해 대용량 지리적 위치가 기록된 소셜 미디어 데이터를 효율적이고 확장 가능하게 확보하고 저장하는 방법을 개발하기 위해.
• 고속도, 대용량 트윗 데이터 스트림을 처리할 때 전통적인 SQL 데이터베이스와 NoSQL 데이터베이스의 성능을 비교하기 위해.
• 분산된 지도 기반 트윗 데이터에 대한 공간 쿼리를 통해 인간 이동 패턴의 실시간 분석을 가능하게 하기 위해.
• 장기적인 트위터 데이터 샘플링이 실제 도시 인구 및 교통 체계의 역동성을 반영하는지 검증하기 위해.
• 사회망 데이터를 도시 이용 및 교통 체계와 통합하여 향후 도시 계획 및 이동 모델링을 지원하기 위해.

제안 방법

• 목표 도시의 사용자 위치 기반으로 트윗을 수집하기 위해 Tweepy 라이브러리를 사용하는 파이썬 스크립트를 활용한다.
• 수평 확장성과 높은 쓰기 처리량을 보장하기 위해 JSON 형식으로 트윗을 저장하는 분산형, 스키마 없는 NoSQL 데이터베이스인 MongoDB를 사용한다.
• 초기 MongoDB 버전의 제약에도 불구하고, 위도와 경도 필드에 2차원 지리공간 인덱스를 적용하여 효율적인 근접 쿼리 지원을 수행한다.
• 메트로폴리탄 지역 전역에 1마일 간격으로 배치된 점의 격자 기반으로 geoNear 쿼리를 수행하여 특정 위치의 트윗 밀도를 추출한다.
• 높은 데이터 볼륨에서 삽입 및 쿼리 성능 향상을 위해 세 개의 샤드(레플리카 세트)로 데이터를 파artitioning한다.
• 읽기 및 쓰기 작업을 분리하기 위해 읽기 작업을 보조 노드로 라우팅하여 활성 쿼리 중에도 높은 삽입 성능을 유지한다.

실험 결과

연구 질문

• RQ1 지리적 위치가 기록된 트위터 데이터는 대규모로 효율적으로 확보되고 저장될 수 있는가?
• RQ2 고속도, 대용량 트윗 데이터 스트림 처리에서 분산형 NoSQL 데이터베이스(MongoDB)의 성능이 전통적인 SQL 데이터베이스(MySQL)와 비교해 어떻게 되는가?
• RQ3 장기적인 트위터 데이터 샘플링은 실제 도시 인구 분포와 교통망 패턴을 어느 정도 반영하는가?
• RQ4 대규모 분산 트윗 데이터베이스에서 공간 쿼리의 응답 시간 성능은 어떠한가?
• RQ5 사회 미디어 데이터는 유럽 도시의 공동 이동 행동 및 도시 이용 패턴을 신뢰성 있게 모델링하는 데 사용될 수 있는가?

주요 결과

• MongoDB는 MySQL 대비 10만 건의 트윗 삽입에서 2배 빠른 성능을 기록했으며, 데이터베이스가 8억 5천만 건의 문서로 커지더라도 삽입 시간이 안정적으로 유지되었다.
• 1마일 반경의 geoNear 쿼리에 대한 중앙값 응답 시간은 3초였고, 70%의 쿼리는 9초 이내에 완료되었다.
• 일시적인 피크가 30초를 초과하더라도, 고부하 상황에서도 실시간 이동 분석에 적합한 성능을 유지했다.
• 10개월 간의 트위터 데이터는 바르셀로나와 런던의 실제 인구 분포와 교통망 패턴과 강한 일치를 보였다.
• 위도와 경도에 대한 2d 지리공간 인덱싱 덕분에 효율적인 공간 쿼리가 가능했지만, MongoDB 2.4에서 데이터가 희박한 상황에서 2dsphere 인덱스를 사용할 수 없었다.
• 읽기 작업을 보조 노드로 오프로드하여 지속적인 데이터 입력과 쿼리 처리를 성공적으로 지원했으며, 높은 쓰기 성능을 유지했다.