[논문 리뷰] Improving Image Classification with Location Context

Kevin Tang, Manohar Paluri외 3명|arXiv (Cornell University)|2015. 05. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 이미지 분류 성능을 향상시키기 위해 컨volution 신경망(CNN)에 GPS 기반 위치 맥락을 통합하는 방법을 제안한다. 새로운 지도 태깅된 데이터셋에서 7%의 상대적 정확도 향상을 달성하기 위해, 저자들은 다섯 가지 새로운 위치 특징을 설계하고 CNN 내에서 최적의 풀링 반경을 엔드 투 엔드로 학습할 수 있도록 설계하였다. 이는 위치에 민감한 시각적 개념을 인식하는 데 있어 위치 맥락이 상당한 영향을 미친다는 것을 입증한다.

ABSTRACT

With the widespread availability of cellphones and cameras that have GPS capabilities, it is common for images being uploaded to the Internet today to have GPS coordinates associated with them. In addition to research that tries to predict GPS coordinates from visual features, this also opens up the door to problems that are conditioned on the availability of GPS coordinates. In this work, we tackle the problem of performing image classification with location context, in which we are given the GPS coordinates for images in both the train and test phases. We explore different ways of encoding and extracting features from the GPS coordinates, and show how to naturally incorporate these features into a Convolutional Neural Network (CNN), the current state-of-the-art for most image classification and recognition problems. We also show how it is possible to simultaneously learn the optimal pooling radii for a subset of our features within the CNN framework. To evaluate our model and to help promote research in this area, we identify a set of location-sensitive concepts and annotate a subset of the Yahoo Flickr Creative Commons 100M dataset that has GPS coordinates with these concepts, which we make publicly available. By leveraging location context, we are able to achieve almost a 7% gain in mean average precision.

연구 동기 및 목표

• GPS 좌표를 맥락적 사전 지식으로 활용하여 이미지 분류 성능을 향상시키는 것.
• 위도와 경도를 초월한 지리적 맥락을 포착할 수 있는 데이터 기반의 효과적인 특징을 GPS 좌표에서 설계하는 것.
• 시각적 특징과 위치 기반 특징을 함께 학습할 수 있도록 엔드 투 엔드 최적화가 가능한 CNN 아키텍처를 개발하는 것.
• 딥 러닝 프레임워크 내에서 위치 특징에 대한 최적의 공간 풀링 반경을 자동으로 학습할 수 있도록 하는 것.
• 장기적으로 위치 인식 가능 이미지 분류 모델을 평가하기 위해 공개 가능한 대규모 지도 태깅 이미지 데이터셋(YFCC100M-GEO100)을 구축하고 배포하는 것.

제안 방법

• GPS 좌표와 외부 지리 데이터셋에서 유도된 다섯 가지 유형의 위치 맥락 특징(_hashtag_ 맥락, 시각적 맥락, 토양 피복, 고도, 기후)을 제안한다.
• 이러한 특징들을 완전 연결층에서 시각적 특징과 연결하고, 특징 간 상호작용을 모델링하기 위해 연결 후 레이어를 추가하여 CNN에 통합한다.
• 고정 반경 히스토그램 풀링을 대체하기 위해 학습 가능한 반경 레이어(RL10)의 여러 복제본을 사용하여 특징 집합의 최적 공간 스케일을 자동으로 결정한다.
• 시각적, 위치 기반, 반경 파rameter를 함께 최적화할 수 있도록 확률적 경사 하강법을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 분류 이전의 최종 표현으로 256차원 완전 연결 레이어를 사용하여 과적합을 방지한다. 더 깊거나 크기가 큰 레이어를 사용할 경우 관찰된 과적합을 피하기 위함이다.
• 훈련 및 평가에 사용하기 위해 100개의 위치 민감한 개념에 걸쳐 88,986장의 지도 태깅된 이미지를 포함한 YFCC100M-GEO100 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 GPS 좌표를 맥락적 사전 지식으로 사용할 경우 이미지 분류 정확도가 상당히 향상되는가?
• RQ2 토양 피복, 고도, 기후와 같은 위치 기반 특징 중에서 시각적 인식 향상에 가장 효과적인 것은 무엇인가?
• RQ3 딥 러닝 모델이 수동으로 조정된 값에 의존하는 대신, 위치 특징에 대한 최적의 공간 풀링 반경을 자동으로 학습할 수 있는가?
• RQ4 위치 맥락의 통합은 미세한, 위치에 특화된 시각적 개념에 대해 성능에 어떤 영향을 미치는가?
• RQ5 모델의 성능는 다양한 지리적 및 의미적 개념에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 기준 이미지 전용 모델 대비 평균 평균 정밀도(mAP)를 7% 상대적으로 향상시켰다(36.82%에서 43.78%로).
• 성능가장 뛰어난 모델은 모든 다섯 가지 위치 특징을 사용하고 256차원 표현과 10개의 반경 학습 레이어 복제본(RL10)을 사용하며, 이로 인해 평균 mAP가 43.78%에 도달하였다.
• 디즈니랜드, 카지노, 얼카트라즈와 같은 위치 특화 개념에서 가장 큰 성능 향상이 관찰되어 강력한 국지화 효과를 확인할 수 있었다.
• 모델는 다양한 개념에 따라 다른 풀링 반경을 학습한다: 'coast'(해안)와 'foliage'(식생)는 3개 이하의 반경으로 수렴하는 반면, 'building'(건물)는 더 넓은 범위를 사용하여 맥락 기반 공간 스케일을 반영한다.
• 연결 후 레이어를 추가하면 과적합이 발생하므로, 최종 모델로 256/- RL10 구성(이 레이어 없이)을 선택하였다.
• 100개 클래스에 걸쳐 88,986장의 지도 태깅된 이미지를 포함하는 YFCC100M-GEO100 데이터셋은 향후 위치 인식 가능 시각 연구를 지원하기 위해 공개되었다.