[논문 리뷰] AID++: An Updated Version of AID on Scene Classification

Pu Jin, Gui-Song Xia외 3명|arXiv (Cornell University)|2018. 06. 03.

Remote-Sensing Image Classification참고 문헌 7인용 수 7

한 줄 요약

이 논문은 기존 지리정보기반 데이터베이스를 활용한 준자동화된 어노테이션을 통해 46개의 시나리오 카테고리에 걸쳐 400,000장이 넘는 영상이 포함된 대규모 항공 영상 데이터셋인 AID++를 소개한다. 이 데이터셋은 딥 컨volution 네트워크의 훈련을 향상시키며, ImageNet이나 더 작은 원격 감지 데이터셋을 훈련한 모델보다 상태의 기술을 달성하고 일반화 성능이 뛰어나다.

ABSTRACT

Aerial image scene classification is a fundamental problem for understanding high-resolution remote sensing images and has become an active research task in the field of remote sensing due to its important role in a wide range of applications. However, the limitations of existing datasets for scene classification, such as the small scale and low-diversity, severely hamper the potential usage of the new generation deep convolutional neural networks (CNNs). Although huge efforts have been made in building large-scale datasets very recently, e.g., the Aerial Image Dataset (AID) which contains 10,000 image samples, they are still far from sufficient to fully train a high-capacity deep CNN model. To this end, we present a larger-scale dataset in this paper, named as AID++, for aerial scene classification based on the AID dataset. The proposed AID++ consists of more than 400,000 image samples that are semi-automatically annotated by using the existing the geographical data. We evaluate several prevalent CNN models on the proposed dataset, and the results show that our dataset can be used as a promising benchmark for scene classification.

연구 동기 및 목표

• 딥 컨volution 네트워크를 훈련하기 위한 대규모이고 다양한 원격 감지 영상 데이터셋의 부족을 해결하기 위해.
• AID나 UCM과 같은 기존 데이터셋이 작고 다양성이 부족한 점을 보완하기 위해.
• 더 큰, 더 대표적인 기준을 제공함으로써 원격 감지 분야에서 컨volution 네트워크 모델의 일반화 성능을 향상시키기 위해.
• 기존 지리정보 데이터를 활용한 효율적이고 확장 가능한 대규모 영상 어노테이션 방법을 개발하기 위해.
• 의미적 모호성을 줄이고 시나리오 클래스의 의미적 조직을 향상시키기 위해 계층적 카테고리 네트워크를 구축하기 위해.

제안 방법

• 토지 이용 및 토지 피복 기준에 기반해 8개의 상위 레벨, 26개의 중간 레벨, 46개의 잎 레벨 시나리오 카테고리로 구성된 3단계 계층적 카테고리 네트워크를 구축한다.
• Google Maps API 및 OpenStreetMap를 포함한 기존 지리정보 데이터베이스를 활용해 각 의미적 카테고리의 좌표를 자동으로 추출한다.
• 추출된 좌표를 사용해 영상 리포지토리에서 고해상도 항공 영상을 쿼리하고 다운로드하여 핵심 데이터셋을 구성한다.
• 지오태깅된 데이터를 영상에 연결함으로써 준자동화된 어노테이션을 적용하여 수동 레이블링 작업을 크게 줄인다.
• 잘못 레이블링된 영상을 제거하고 데이터 품질을 향상시키기 위해 수동 검증을 수행한다.
• 계층적 조직을 통해 카테고리 간 분리와 의미적 명확성을 유지하면서 400,000장 이상의 영상으로 데이터셋을 확장한다.

실험 결과

연구 질문

• RQ1 대규모, 준자동화된 어노테이션을 적용한 데이터셋이 항공 시나리오 분류에서 딥 컨volution 네트워크의 성능과 일반화 능력을 향상시키는가?
• RQ2 시나리오 카테고리의 계층적 조직이 모델 성능과 의미적 명확성에 어떤 영향을 미치는가?
• RQ3 AID++에서 사전 훈련된 모델이 ImageNet이나 더 작은 데이터셋을 기반으로 훈련된 모델보다 후행 원격 감지 작업에서 전이 학습 성능이 뛰어나게 되는가?
• RQ4 AID++의 규모와 다양성이 기존 원격 감지 데이터셋의 한계를 어느 정도 완화하는가?
• RQ5 다양한 컨volution 네트워크 아키텍처가 AID++에서 훈련되었을 때 다른 벤치마크와 비교해 어떻게 성능을 내는가?

주요 결과

• AID++ 데이터셋은 46개의 시나리오 카테고리에 분포된 400,000장 이상의 고해상도 항공 영상으로 구성되어 있으며, 원래의 AID 데이터셋을 크게 초월한다.
• ResNet과 DenseNet이 AID++에서 가장 높은 분류 정확도를 기록했으며, DenseNet은 전체 데이터셋에서 86.61%의 총 정확도를 달성했다.
• WHU-19 벤치마크에서 테스트한 결과, AID++에서 사전 훈련된 모델은 ImageNet이나 다른 원격 감지 데이터셋(예: AID, NWPU, RSI-CB)을 기반으로 훈련된 모델보다 뛰어난 성능을 보였으며, 정확도 97.38%를 기록했다.
• 계층적 카테고리 네트워크가 의미적 혼동을 효과적으로 줄이고 모델의 해석 가능성 및 성능을 향상시켰다.
• 훈련 데이터 비율을 늘일수록 분류 정확도가 높아지는 경향을 보였으며, 이는 딥 러닝에서 규모의 이점이 있음을 확인했다.
• 토지 피복 카테고리는 90% 이상의 정확도를 기록했지만, 토지 이용 카테고리는 낮은 성능을 보이며 유사한 기능적 토지 이용을 구분하는 데 여전히 도전 과제가 있음을 시사했다.