[논문 리뷰] Multi-modal Geolocation Estimation Using Deep Neural Networks

Jesse Johns, Jeremiah Rounds외 1명|arXiv (Cornell University)|2017. 12. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 13인용 수 3

한 줄 요약

이 논문은 델로이 트리아ング류레이션 기반의 글로벌 메시 기반, 시간대 메타데이터, 사용자 앨범 정보를 활용한 다중 모odal 지오로케이션 추정을 위한 새로운 딥러닝 접근법을 제안한다. 단지 1490만 장의 이미지만을 사용하여도 이전 모델들이 10배 더 많은 데이터와 4분면 트리 메시를 사용하는 것보다 훨씬 적은 데이터로도 도시 수준(25 km)에서 최대 11% 향상, 국가 수준(750 km)에서 3% 향상된 최신 기술 수준의 정확도를 달성한다. 이는 구조적 메시 기반과 다중 모달 데이터 통합이 최소한의 데이터로도 지오로케이션 성능을 향상시킬 수 있음을 보여준다.

ABSTRACT

Estimating the location where an image was taken based solely on the contents of the image is a challenging task, even for humans, as properly labeling an image in such a fashion relies heavily on contextual information, and is not as simple as identifying a single object in the image. Thus any methods which attempt to do so must somehow account for these complexities, and no single model to date is completely capable of addressing all challenges. This work contributes to the state of research in image geolocation inferencing by introducing a novel global meshing strategy, outlining a variety of training procedures to overcome the considerable data limitations when training these models, and demonstrating how incorporating additional information can be used to improve the overall performance of a geolocation inference model. In this work, it is shown that Delaunay triangles are an effective type of mesh for geolocation in relatively low volume scenarios when compared to results from state of the art models which use quad trees and an order of magnitude more training data. In addition, the time of posting, learned user albuming, and other meta data are easily incorporated to improve geolocation by up to 11% for country-level (750 km) locality accuracy to 3% for city-level (25 km) localities.

연구 동기 및 목표

• 제한적이고 불균형한 지오태깅된 이미지 데이터를 바탕으로 정확한 이미지 지오로케이션을 해결하는 데 초점 맞추기.
• 효율적인 메시 기반 전략을 도입하여 글로벌 지오로케이션을 위한 딥러닝 모델 학습 시 데이터 부족 문제 해결하기.
• 시간대 및 사용자 앨범 메타데이터를 보조 신호로 통합하여 지오로케이션 정확도 향상시키기.
• 구조적 메시 기반(델로이 삼각형)이 기존의 4분면 트리 방법보다 낮은 데이터 환경에서 더 우수한 성능을 보임을 입증하기.
• 실내/외 장면 분류 및 잠재 변수 조건부 설정이 모델 성능에 미치는 영향 조사하기.

제안 방법

• 지오로케이션을 위한 공간 범주로 사용할 전 세계 메시를 만들기 위해 델로이 트리아ング류레이션을 활용하여 총 538개(粗) 또는 6,565개(細)의 삼각형 셀을 생성한다.
• 이미지 특징을 메시 셀에 매핑하여 다중 분류 문제로 간주하고, 교차 엔트로피 손실을 사용한 인셉션 기반 딥 네트워크를 학습시킨다.
• 시간대 정보를 연속형 임bedding으로 처리하여 모델의 최종 레이어에 연결함으로써 정밀도 향상시키기.
• 사용자-ID를 기반으로 이미지를 앨범 단위로 그룹화하고, 사용자 평균화 또는 앨범 기반 집계를 적용하여 사용자 수준의 일관성 모델링하기.
• 사용자 수준의 과대표현을 방지하고 편향을 줄이기 위해 무작위 샘플링 기반의 데이터 샘플링 전략 적용하기.
• 공간 정확도를 다양한 해상도(1 km, 25 km, 200 km 등)에서 평가하고, 클래스 분포의 정합성 정도를 측정하기 위해 KL-발산을 사용한다.

실험 결과

연구 질문

• RQ1 낮은 데이터 환경에서 델로이 트리아ング류레이션 기반 메시 기반 전략이 4분면 트리 기반 메시 기반 전략보다 성능이 뛰어나게 되는가?
• RQ2 시간대 메타데이터를 통합할 경우 다양한 공간 해상도에서 지오로케이션 정확도가 얼마나 향상되는가?
• RQ3 사용자-ID 기반으로 그룹화된 앨범 정보는 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ4 실내/외 장면 분류 조건부 설정이 지오로케이션 성능 향상에 기여하는가?
• RQ5 더 낮은 공간 해상도를 가진 미세 메시보다 거시적 해상도(지역 및 국가 수준)에서 더 높은 성능을 내기 위해 굵은 메시가 더 나은 성능을 내는가?

주요 결과

• 시간대 및 사용자 앨범 입력을 통합한 굵은 델로이 메시는 국가 수준(750 km 해상도)에서 68.61%의 정확도를 기록했으며, 이는 10배 더 많은 데이터로 학습된 최신 기술 모델을 능가하는 성능이다.
• 시간대 정보를 통합함으로써 도시 수준(25 km) 정확도는 30.24%에서 35.85%로 11% 향상되었고, 국가 수준 정확도는 63.17%에서 68.61%로 3% 향상되었다.
• 시간대 및 사용자 앨범 입력을 통합한 굵은 메시는 중앙값 오차 1,124 km를 기록했으며, 기준 모델(M1)의 3,897 km 중앙값 오차보다 유의미하게 낮았다.
• 지역 및 국가 수준 해상도(200 km 및 750 km)에서 굵은 메시가 미세 메시보다 우수한 성능을 보였으며, 이는 더 높은 공간 해상도가 항상 거시적 수준의 지오로케이션에 유리하지 않음을 시사한다.
• 시간대 입력이 포함된 모델(M2)은 KL-발산을 0.6718에서 0.4998로 감소시켜 진짜 클래스 분포와의 일치도가 높아지고 편향이 줄어든 것으로 나타났다.
• 굵은 메시 셀 중심점을 사용한 최상의 성능는 도시 수준(25 km)에서 81.97%의 정확도를 기록했으며, 이는 모델이 아직 최적에 도달하지 못했지만 다중 모달 입력으로 인해 크게 향상되었음을 시사한다.