[논문 리뷰] End-to-end Network for Twitter Geolocation Prediction and Hashing

Jey Han Lau, Lianhua Chi외 2명|arXiv (Cornell University)|2017. 10. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 9

한 줄 요약

이 논문은 최소한의 특징 공학과 언어에 종속되지 않는 엔드 투 엔드 딥 네ural 네트워크를 제안하며, 트윗 수준의 지리적 위치 예측에 사용된다. 이는 최신 기술 대비 2-6% 높은 정확도를 달성하며, 학습된 표현을 압축하여 압축된 이진 코드로 변환하는 새로운 엔드 투 엔드 해싱 방법을 도입하여 검색 작업에서 기준 해싱 기법을 능가한다.

ABSTRACT

We propose an end-to-end neural network to predict the geolocation of a tweet. The network takes as input a number of raw Twitter metadata such as the tweet message and associated user account information. Our model is language independent, and despite minimal feature engineering, it is interpretable and capable of learning location indicative words and timing patterns. Compared to state-of-the-art systems, our model outperforms them by 2%-6%. Additionally, we propose extensions to the model to compress representation learnt by the network into binary codes. Experiments show that it produces compact codes compared to benchmark hashing algorithms. An implementation of the model is released publicly.

연구 동기 및 목표

• 최소한의 특징 공학으로 언어에 종속되지 않는 엔드 투 엔드 신경망을 개발하여 트윗 수준의 지리적 위치 예측을 수행한다.
• 지역사전이나 언어별 도구 없이 원시 트윗 메타데이터를 활용하여 최신 기술 대비 지리적 위치 예측 시스템을 향상시킨다.
• 학습된 표현을 효율적인 검색을 위해 압축된 이진 코드로 압축하기 위해 모델을 확장한다.
• 해밍 거리 기반의 빠른 검색 작업에서 이진 코드의 효과성을 평가한다.
• 해싱 알고리즘의 입력으로 사용될 때, 모델이 학습한 표현이 표준 word2vec 임베딩보다 더 효과적인지 입증한다.

제안 방법

• 모델는 메시지 텍스트, 사용자 타임존, 사용자 위치와 같은 원시 트윗 메타데이터를 입력으로 사용하며, 언어별 전처리가 전혀 필요 없다.
• 밀도 및 잔여 연결을 포함한 다층 아키텍처를 사용하며, 최종적으로 실수값 표현 벡터를 출력하는 레이어로 구성된다.
• 엔드 투 엔드 해싱을 가능하게 하기 위해, 최종 표현에 가우시안 노이즈와 정규화 손실 항목을 추가하여 표현을 ±1 쪽으로 유도함으로써 부호 함수를 통한 이진화를 가능하게 한다.
• 정규화 손실은 표현 벡터의 비극단값을 방지하여 정확도 저하 없이도 이진 출력을 유도한다.
• 분류 작업을 위해 교차 엔트로피 손실을 사용하여 모델을 훈련하고, 이진화를 향상시키기 위해 노이즈와 손실 항목을 함께 미세조정한다.
• 최종 표현에 부호 함수를 적용하여 이진 코드를 생성하며, 해밍 거리 기반 평균 평균 정확도(MAP)를 사용해 검색 성능을 평가한다.

실험 결과

연구 질문

• RQ1 최소한의 특징 공학으로도 최신 기술 대비 뛰어난 트윗 수준의 지리적 위치 예측 정확도를 달성할 수 있는가?
• RQ2 지역사전이나 언어별 도구 없이도 모델이 지역을 나타내는 패턴, 예를 들어 지역어나 시간대 기반 행동 패턴을 해석 가능한 방식으로 학습할 수 있는가?
• RQ3 엔드 투 엔드 미분 가능한 접근 방식을 통해 학습된 표현을 효과적으로 압축된 이진 코드로 변환할 수 있는가?
• RQ4 제안된 해싱 방법은 LSH나 FastHash와 같은 기존 해싱 기법과 비교해 어떤 성능을 보이는가?
• RQ5 외부 해싱 알고리즘에 모델의 표현을 입력으로 사용할 경우, 표준 word2vec 임베딩보다 검색 성능이 향상되는가?

주요 결과

• 지역사전이나 언어별 전처리 없이도, 최신 기술 대비 2–6% 높은 정확도로 트윗 수준의 지리적 위치 예측을 달성한다.
• 주의 메커니즘과 활성화 분석을 통해 지역을 나타내는 해석 가능한 단어와 지역적 활동 패턴이 학습된 것으로 확인된다.
• 가우시안 노이즈와 정규화 손실 항목을 추가함으로써 표현 벡터의 이진화가 향상되었으며, 정확도 저하 없이도 값이 ±1 쪽으로 유도된다.
• 200–400비트 코드에서 FastHash와 deepgeo 표현의 조합은 deepgeo에 노이즈만 추가한 경우보다 2–4% 높은 MAP 성능을 보이며, 더 나은 검색 성능을 입증한다.
• deepgeo 표현은 word2vec 임베딩보다 더 압축되고 효과적이다. 100비트 코드에서도 FastHash에 deepgeo를 사용할 경우, 더 큰 비트 수에서 word2vec을 사용한 경우보다 성능이 뛰어나다.
• 모델의 표현은 효과적인 해싱을 가능하게 하며, LSH에 deepgeo 표현을 입력으로 사용할 경우 word2vec 입력보다 뚜렷하게 높은 성능을 보이며, 특히 작은 비트 크기에서 두드러진다.