[논문 리뷰] DeepCity: A Feature Learning Framework for Mining Location Check-Ins

Jun Pang, Yang Zhang|arXiv (Cornell University)|2016. 10. 12.

Human Mobility and Location-Based Analysis인용 수 24

한 줄 요약

DeepCity는 사용자와 장소의 개인화된 임베딩을 생성하기 위해 작업별 임의 보행을 사용하는 딥러닝 기반의 특징 학습 프레임워크이다. 인구통계학적 및 카테고리적 속성을 기반으로 임의 보행을 유도함으로써 사용자 및 장소 프로파일링을 향상시키며, 4200만 건의 체크인 데이터를 포함한 인스타그램 데이터셋에서 최신 기술 수준의 성능을 달성한다. 성별 예측의 경우 체크인 수가 매우 적은 상황에서도 AUC 점수가 0.9에 수렴함을 확인하였다.

ABSTRACT

Online social networks being extended to geographical space has resulted in large amount of user check-in data. Understanding check-ins can help to build appealing applications, such as location recommendation. In this paper, we propose DeepCity, a feature learning framework based on deep learning, to profile users and locations, with respect to user demographic and location category prediction. Both of the predictions are essential for social network companies to increase user engagement. The key contribution of DeepCity is the proposal of task-specific random walk which uses the location and user properties to guide the feature learning to be specific to each prediction task. Experiments conducted on 42M check-ins in three cities collected from Instagram have shown that DeepCity achieves a superior performance and outperforms other baseline models significantly.

연구 동기 및 목표

• 일반적인 네트워크 임베딩 방법이 사용자 및 장소 예측을 위한 작업별 특징을 포착하지 못하는 데 기인한 한계를 해결하기 위해.
• 체크인 데이터에서 직접 표현을 학습함으로써 사용자 및 장소 프로파일링 작업에서 수동적 특징 공학의 필요성을 제거하기 위해.
• 통합적이고 확장 가능한 프레임워크를 통해 사용자 인구통계학적 특성(예: 성별, 연령, 인종) 및 장소 카테고리 예측 정확도를 향상시키기 위해.
• 향후 연구를 위한 벤치마크로 사용할 수 있도록 다중 도시의 체크인 데이터셋을 구축하고, 인구통계학적 및 카테고리적 레이블을 함께 제공하기 위해.
• 작업별 임의 보행이 각 예측 작업에 적합한 이웃 구조에 집중함으로써 표현 학습을 향상시킨다는 것을 검증하기 위해.

제안 방법

• DeepCity는 워드2비크의 스킵그램 모델을 활용하여 사용자 및 장소의 상호작용 패턴에서 저차원 벡터 표현(임베딩)을 학습한다.
• 작업별 임의 보행을 도입하여, 성별, 연령 또는 장소 카테고리와 같은 보조 속성에 따라 보행 중에 노드의 이웃을 동적으로 정의한다.
• 임의 보행 과정에서 사용자 또는 장소의 특성을 기반으로 목표 예측 작업과 관련된 연결을 우선순위로 정렬함으로써, 작업별 특징 학습을 향상시킨다.
• 스킵그램 목적 함수를 최적화하여 네트워크 내 국소적 구조적 관계를 유지함으로써, 유사한 사용자 또는 장소가 벡터 공간에서 가까이 위치하도록 보장한다.
• 훈련을 위해 대규모로 인구통계학적 레이블을 자동으로 수집하기 위해 외부 데이터 소스(예: Face++)를 통합한다.
• 단일 통합 프레임워크 내에서 사용자 프로파일링(인구통계학적 추론)과 장소 프로파일링(카테고리 예측)을 이중 예측 작업으로 지원한다.

실험 결과

연구 질문

• RQ1 일반적인 네트워크 임베딩 방법에 비해 작업별 임의 보행이 사용자 인구통계학적 특성 예측(예: 성별, 연령, 인종) 성능을 향상시키는가?
• RQ2 최소한의 메타데이터와 체크인 패tern만을 사용할 때 DeepCity는 장소 카테고리 예측에 얼마나 효과적인가?
• RQ3 사용자 또는 장소당 체크인 수가 늘어남에 따라 모델의 예측 성능에 어떤 정도의 영향을 미치는가?
• RQ4 대규모 실세계 데이터에서 DeepCity는 사용자 및 장소 프로파일링 작업 모두에서 기존 최신 기술 수준의 모델을 능가하는가?
• RQ5 임의 보행에 작업별 지침을 통합할 경우, 표준 네트워크 임베딩 기법에 비해 더 분류 능력이 뛰어나고 일반화 능력이 뛰어난 노드 임베딩을 얻을 수 있는가?

주요 결과

• 사용자 체크인이 10건 이하일 경우에도 DeepCity는 성별 예측에서 AUC가 거의 0.9에 도달하여 극히 적은 데이터로도 뛰어난 성능을 보였다.
• 인종 예측의 경우 사용자당 체크인이 25건 이상이 되면 성능이 안정화되어 낮은 데이터 가용성에 대해서도 강건함을 입증하였다.
• 연령 예측의 경우 AUC 점수가 체크인 수와 거의 선형적으로 증가하여 사용자 활동이 많아질수록 지속적인 성능 향상을 보였다.
• DeepWalk 및 node2vec와 같은 기존 기반 모델에 비해 DeepCity는 사용자 인구통계학적 특성 및 장소 카테고리 예측 작업 모두에서 뚜렷한 성능 향상을 보였다.
• 작업별 임의 보행을 사용할 경우 일반 목적의 임의 보행보다 더 나은 표현 학습이 이루어지며, 이를 AUC 및 F1 점수로 입증하였다.
• DeepCity는 뉴욕, 로스앤젤레스, 런던에서 수집한 4200만 건이 넘는 대규모 체크인 데이터셋에서 높은 확장성과 효과성을 입증하였다.