[논문 리뷰] Geo-Aware Networks for Fine-Grained Recognition

Grace Chu, Brian Potetz외 6명|arXiv (Cornell University)|2019. 06. 04.

Advanced Neural Network Applications참고 문헌 23인용 수 7

한 줄 요약

이 논문은 지리정보 데이터를 후처리, 특징 조절 또는 지리정보 사전 지식을 통해 통합함으로써 세분화된 이미지 인식을 향상시키는 지리정보 인지 네트워크를 제안한다. iNaturalist 및 YFCC100M이라는 두 가지 새로운 지리정보가 부여된 데이터셋을 도입함으로써, Inception V3 기반 모델을 사용할 경우 iNaturalist에서 상위-1 정확도를 70.1%에서 79.0%로 향상시켰고, MobileNetV2에서는 59.6%에서 72.2%로 상승시켜 자원이 제한된 모델에서도 뚜렷한 성능 향상을 입증하였다.

ABSTRACT

Fine-grained recognition distinguishes among categories with subtle visual differences. In order to differentiate between these challenging visual categories, it is helpful to leverage additional information. Geolocation is a rich source of additional information that can be used to improve fine-grained classification accuracy, but has been understudied. Our contributions to this field are twofold. First, to the best of our knowledge, this is the first paper which systematically examined various ways of incorporating geolocation information into fine-grained image classification through the use of geolocation priors, post-processing or feature modulation. Secondly, to overcome the situation where no fine-grained dataset has complete geolocation information, we release two fine-grained datasets with geolocation by providing complementary information to existing popular datasets - iNaturalist and YFCC100M. By leveraging geolocation information we improve top-1 accuracy in iNaturalist from 70.1% to 79.0% for a strong baseline image-only model. Comparing several models, we found that best performance was achieved by a post-processing model that consumed the output of the image-only baseline alongside geolocation. However, for a resource-constrained model (MobileNetV2), performance was better with a feature modulation model that trains jointly over pixels and geolocation: accuracy increased from 59.6% to 72.2%. Our work makes a strong case for incorporating geolocation information in fine-grained recognition models for both server and on-device.

연구 동기 및 목표

• 시각적 차이가 미세하고 이미지만으로는 구분하기 어려운 세분화된 분류 과제를 해결하기 위해, 예를 들어 새 종류 간의 미세한 시각적 차이를 다루는 것.
• 원시 위도와 경도로 구성된 지리정보가 세분화된 인식의 정확도를 향상시키는 데 효과적인, 아직 활용되지 않은 강력한 신호가 될 수 있는지 조사하기 위해.
• 세분화된 분류 데이터셋 중 지리정보가 완전히 기록된 공개 데이터셋이 부족한 문제를 해결하기 위해, iNaturalist-Geo 및 YFCC100M-Geo라는 두 가지 새로운 데이터셋을 공개한다.
• 다양한 모델 아키텍처에서 지리정보를 통합하는 세 가지 다른 방법(지리정보 사전 지식, 후처리, 특징 조절)을 체계적으로 평가한다.
• 지리정보 통합이 특히 소형 온디바이스 모델인 MobileNetV2와 같이 자원이 제한된 모델에서 매우 효과적임을 입증한다. 이는 이미지 전용 모델보다도 성능이 뛰어나다.

제안 방법

• 세 가지 지리정보 인지 네트워크 아키텍처를 제안한다: (1) 베이지안 추론 또는 화이트리스트 필터링을 사용한 지리정보 사전 지식, (2) 고정된 이미지 모델의 로짓을 지리정보를 기반으로 재순서 정렬하는 후처리, (3) 조절 가능한 컨볼루션을 통해 이미지 및 지리정보 특징을 함께 학습하는 특징 조절.
• 후처리를 구현하기 위해 사전 학습된 이미지 분류기의 로짓에 학습된 지리정보 네트워크를 적용함으로써, 이미지 기반 모델의 재학습 없이도 공간적 맥락에 기반한 보정이 가능하도록 한다.
• 특징 조절 메커니즘을 설계하여 지리정보 임bedding이 네트워크의 각 잔차 블록의 특징을 동적으로 조절하도록 하여, 시각적 신호와 공간적 신호를 종합적으로 학습할 수 있도록 한다.
• 세분화된 분류를 위한 두 가지 새로운 데이터셋인 iNaturalist-Geo(지리정보가 부여된 iNaturalist)와 YFCC100M-Geo(지리정보 및 세분화된 레이블이 부여된 YFCC100M)를 공개함으로써 향후 연구를 위한 데이터 가용성을 향상시킨다.
• iNaturalist 및 YFCC100M-Geo에서 대규모 모델(Inception V3)과 소규모 모델(MobileNetV2)을 대상으로 다양한 지리정보 인지 설정에서 성능을 비교하기 위해 모델을 훈련하고 평가한다.
• 실제 지리정보 데이터와 보조 메타데이터(예: 해시태그)를 조합하여 지리정보 신호를 풍부하게 하지만, 핵심 방법은 단순성과 강건성을 확보하기 위해 원시 위도/경도에 기반한다.

실험 결과

연구 질문

• RQ1 원시 지리정보(위도 및 경도)를 보조 신호로 사용할 경우, 세분화된 인식 정확도를 크게 향상시킬 수 있는가?
• RQ2 후처리, 특징 조절, 지리정보 사전 지식 중 어느 방법이 다양한 모델 크기에서 가장 높은 성능을 낼 수 있는가?
• RQ3 지리정보의 이점은 대규모 서버 기반 모델과 소규모 온디바이스 모델 간에 다를 수 있는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 지리정보 인지 모델의 성능은 저품질 레이블이 부여된 다른 세분화된 데이터셋으로 일반화되는가?
• RQ5 지오그래픽 범위가 다를 수 있지만 외관이 유사한 세분화된 카테고리(예: 겹치는 외형을 가진 새 종류)를 효과적으로 구분하는 데 지리정보 정보가 유용한가?

주요 결과

• Inception V3 기반 모델을 사용할 경우, iNaturalist 데이터셋에서 후처리를 통한 지리정보 통합으로 상위-1 정확도가 70.1%에서 79.0%로 상승하여 상대적 향상률이 8.9%에 이르렀다.
• MobileNetV2 모델의 경우 특징 조절 기법을 통해 상위-1 정확도 72.2%를 달성하였고, 이는 더 큰 Inception V3 이미지 전용 모델의 70.1% 정확도를 초월하여 자원이 제한된 장치에서의 공동 학습의 가치를 입증하였다.
• MobileNetV2에서 특징 조절 기법이 후처리보다 성능이 뛰어났다. 후처리 기법은 시각적으로 유사한 클래스를 구분하기 위해 이미지 모델의 능력을 낭비하게 하며, 지리정보는 이들을 더 효율적으로 구분할 수 있기 때문이다.
• YFCC100M-Geo 데이터셋에서는 후처리 기법이 이미지 전용 모델 대비 5.9% 정확도 향상을 기록하였고, 특징 조절 기법은 4.1% 향상되었지만, 데이터 품질이 낮아 iNaturalist에서의 성능보다 낮았다.
• 세분화된 카테고리의 지리정보 분포(예: 서부 회색 쥐라치와 빨간 배목이끼나무나무새)는 일반 카테고리보다 더 집중되어 있어, 지리정보가 세분화된 인식에서 더 효과적인 구분 신호가 된다.
• iNaturalist-Geo 및 YFCC100M-Geo의 공개는 완전한 지리정보 레이블이 부여된 최초의 공개 가능한 대규모 세분화된 데이터셋을 제공하며, 향후 지리정보 인지 학습 연구를 가능하게 한다.