[논문 리뷰] Density Estimation for Geolocation via Convolutional Mixture Density Network

Hayate Iso, Shoko Wakamiya외 1명|arXiv (Cornell University)|2017. 05. 08.

Human Mobility and Location-Based Analysis참고 문헌 22인용 수 14

한 줄 요약

이 논문은 텍스트만을 사용하여 지리적 위치를 확률 밀도 분포로 추정하는 컨volutional 믹스처 밀도 네트워크(CMDN)를 제안한다. 이는 불확실성 인식 및 다중 모달 위치 예측을 가능하게 하며, 정확도를 높이고 신뢰도가 높은 예측을 필터링하기 위해 가능도 점수를 제공한다. CMDN은 좌표 수준의 지리적 위치 예측에서 최신 기술 수준의 성능을 달성하며, 회귀 기반 방법보다 정확도가 뛰어나다.

ABSTRACT

Nowadays, geographic information related to Twitter is crucially important for fine-grained applications. However, the amount of geographic information avail- able on Twitter is low, which makes the pursuit of many applications challenging. Under such circumstances, estimating the location of a tweet is an important goal of the study. Unlike most previous studies that estimate the pre-defined district as the classification task, this study employs a probability distribution to represent richer information of the tweet, not only the location but also its ambiguity. To realize this modeling, we propose the convolutional mixture density network (CMDN), which uses text data to estimate the mixture model parameters. Experimentally obtained results reveal that CMDN achieved the highest prediction performance among the method for predicting the exact coordinates. It also provides a quantitative representation of the location ambiguity for each tweet that properly works for extracting the reliable location estimations.

연구 동기 및 목표

• 지리적 태그가 부족한 트윗의 문제를 해결하기 위해 텍스트만으로 정확하고 불확실성 인식이 가능한 지리적 위치 예측을 가능하게 한다.
• 회귀 기반 방법이 포착하지 못하는 트윗의 위치 모호성과 다수의 타당한 위치를 모델링한다.
• 예측의 신뢰도를 측정할 수 있는 신뢰도 있는 척도를 가능도 점수를 통해 제공하여 불확실한 예측을 필터링한다.
• 텍스트 특징과 믹스처 밀도 파rameter를 동시에 학습하는 엔드 투 엔드 딥 러닝 모델을 개발한다.

제안 방법

• CMDN은 트윗 텍스트 시퀀스에서 문맥적 특징을 추출하기 위해 컨volutional 신경망(CNN)을 사용한다.
• CNN의 출력은 믹스처 밀도 모델(MDN)의 파rameter를 설정하는 데 사용되며, 위치 분포의 혼합 가중치, 평균, 공분산을 추정한다.
• 모델은 전체 밀도 추정 목표를 최적화하기 위해 음의 로그 가능도 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 혼합 성분은 다수의 타당한 지리적 위치를 나타내며, 이는 모델이 모호성과 다중 모달 예측을 처리하는 데 기여한다.
• 예측은 추정된 혼합 분포의 최빈값을 선택함으로써 이루어지며, 가능도 점수는 추정의 신뢰도를 나타낸다.
• 가능도 기반 임계값 전략을 적용하여 저신뢰도 예측을 필터링함으로써 전체 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 단일 점이 아닌 전체 확률 밀도 분포로 트윗의 지리적 위치를 추정할 수 있는가? 이는 모호성에 대한 강건성을 향상시킬 수 있는가?
• RQ2 회귀 기반 방법과 비교할 때 믹스처 모델을 통한 밀도 추정은 트윗 지리적 위치 예측에서 정확도와 불확실성 정량화 측면에서 어떻게 성능을 내는가?
• RQ3 밀도 모델에서 유도된 가능도 점수가 신뢰할 수 없는 지리적 위치 예측을 효과적으로 식별하고 필터링할 수 있는가?
• RQ4 CNN 기반 MDN의 엔드 투 엔드 훈련은 텍스트 입력만을 사용할 때 기존의 회귀 또는 가우시안 믹스처 모델링보다 더 높은 성능을 내는가?

주요 결과

• CMDN은 정확한 좌표 예측에 있어 모든 방법 중 가장 높은 성능을 기록했으며, ℓ₂ 및 ℓ₁ 회귀 기반 모델보다 뛰어난 성능을 보였다.
• CMDN의 예측 위치와 진짜 위치 사이의 중앙 거리는 CNN-l1 및 CNN-l2 모델보다 유의미하게 낮았다.
• CMDN의 가능도 점수는 추정의 확실성에 대한 신뢰할 수 있는 지표로 기능하며, 높은 가능도일수록 예측 오차가 낮았다.
• 가능도 기반 필터링은 외곽치 예측을 효과적으로 제거하여 나머지 고신뢰도 예측 집합의 평균 및 중앙 거리를 감소시켰다.
• 모델은 다수의 타당한 위치에 비-zero 확률을 할당함으로써 모호하거나 다중 모달 트윗을 우수하게 처리하는 능력을 보였다.
• 음의 로그 가능도 손실에 의해 이끌리는 CMDN의 공격적인 예측 전략은 약간의 평균 오차 증가에도 불구하고 ℓ₁ 기반 회귀보다 더 뛰어난 중앙 성능을 달성했다.