[논문 리뷰] Lost in the Past: Recognizing Locations Over Large Time Lags.

Basura Fernando, Tatiana Tommasi외 1명|arXiv (Cornell University)|2014. 09. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 2

한 줄 요약

이 논문은 오래된 사진의 위치를 현대 웹 캡처 이미지를 기준으로 인식하는 새로운 작업을 제안한다. 시간에 영향을 받지 않는 강력한 시각적 특징을 식별하는 도메인 적응 특징 학습 방법을 제안하여, 큰 시간 간격 동안 정확도를 크게 향상시킨다.

ABSTRACT

Would it be possible to automatically associate ancient pictures to modern ones and create fancy cultural heritage city maps? We introduce here the task of recognizing the location depicted in an old photo given modern annotated images collected from the Internet. We present an extensive analysis on different features, looking for the most discriminative and most robust to the image variability induced by large time lags. Moreover, we show that the described task benefits from domain adaptation.

연구 동기 및 목표

• 크게 변화한 시간적, 시각적 차이가 있는 상황에서도 古적 사진을 그 현대적 지리적 위치에 매칭하는 문제를 해결하기 위해.
• 도시 변화의 수십 년에 걸친 기간 동안에도 안정적으로 유지되는 가장 구분력 있고 강력한 시각적 특징을 식별하기 위해.
• 도메인 적응이 시간 간격을 넘는 이미지 정위치 인식에 얼마나 효과적인지 평가하기 위해.
• 역사적 이미지와 현대 이미지를 연결함으로써 자동으로 문화유산 도시 지도를 제작할 수 있도록 하기 위해.

제안 방법

• 이 방법은 오래된 사진과 현대 사진 양쪽에서 특징을 추출하기 위해 딥 신경망을 활용한다.
• 오래된 이미지 도메인과 현대 이미지 도메인 간의 특징 분포를 정렬하기 위해 도메인 적응 기법을 적용한다.
• 시간이 지나간 이미지 간의 특징을 비교하고 매칭하기 위해 시아모이 네트워크 아키텍처를 사용한다.
• 시간적, 환경적 변화에 대한 강건성을 평가하기 위해 다양한 특징 유형(예: CNN 기반, 수작업 설계)을 평가한다.
• 웹에서 확보한 역사적 이미지와 현대 이미지의 쌍을 포함한 대규모 데이터셋으로 모델을 훈련시킨다.
• 동일한 위치의 이미지에 대해 유사한 특징을 유도하기 위해 대비 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 현대 웹 이미지에서 유도된 딥 특징가 오래된 사진의 위치를 효과적으로 인식할 수 있는가?
• RQ2 어느 시각적 특징이 큰 시간 지연과 도시 변화에 가장 강건한가?
• RQ3 도메인 적응이 시간 간격을 넘어서 정위치 인식 정확도를 얼마나 향상시키는가?
• RQ4 이 방법이 자동으로 문화유산 맵핑을 얼마나 잘 실현할 수 있는가?

주요 결과

• 제안된 도메인 적응 방법은 적응 없이 기반 모델을 사용한 경우에 비해 정위치 인식 정확도를 크게 향상시킨다.
• CNN 기반 특징이 수작업 설계된 특징보다 큰 시간 간격 동안 강건성과 구분력 면에서 뛰어나다.
• 도시 개발로 인해 오래된 사진과 현대 사진 간에 시각적 차이가 크게 나는 경우에도 모델이 뛰어난 성능을 보인다.
• 웹에서 수집한 현대 이미지를 활용함으로써 역사적 사진의 위치 인식을 확장 가능하고 비용 효율적으로 구현할 수 있다.