[논문 리뷰] Aerial Scene Parsing: From Tile-level Scene Classification to Pixel-wise Semantic Labeling

Yang Long, Gui-Song Xia외 3명|arXiv (Cornell University)|2022. 01. 06.

Advanced Image and Video Retrieval Techniques인용 수 9

한 줄 요약

이 논문은 항공 영상 해석에서 타일 수준의 장면 분류와 픽셀 수준의 의미적 레이블링 간의 격차를 메우기 위해 계층적 다중 작업 학습 프레임워크를 제안한다. Million-AID 데이터셋을 도입하고 전이 학습을 활용함으로써, GID 벤치마크에서 이전 방법들보다 Kappa 6.8% 및 OA 3% 향상된 최신 기술 성능을 달성하였으며, 향상된 특징 융합 및 의미적 주의 메커니즘을 통해 성능 향상을 이룬다.

ABSTRACT

Given an aerial image, aerial scene parsing (ASP) targets to interpret the semantic structure of the image content, e.g., by assigning a semantic label to every pixel of the image. With the popularization of data-driven methods, the past decades have witnessed promising progress on ASP by approaching the problem with the schemes of tile-level scene classification or segmentation-based image analysis, when using high-resolution aerial images. However, the former scheme often produces results with tile-wise boundaries, while the latter one needs to handle the complex modeling process from pixels to semantics, which often requires large-scale and well-annotated image samples with pixel-wise semantic labels. In this paper, we address these issues in ASP, with perspectives from tile-level scene classification to pixel-wise semantic labeling. Specifically, we first revisit aerial image interpretation by a literature review. We then present a large-scale scene classification dataset that contains one million aerial images termed Million-AID. With the presented dataset, we also report benchmarking experiments using classical convolutional neural networks (CNNs). Finally, we perform ASP by unifying the tile-level scene classification and object-based image analysis to achieve pixel-wise semantic labeling. Intensive experiments show that Million-AID is a challenging yet useful dataset, which can serve as a benchmark for evaluating newly developed algorithms. When transferring knowledge from Million-AID, fine-tuning CNN models pretrained on Million-AID perform consistently better than those pretrained ImageNet for aerial scene classification. Moreover, our designed hierarchical multi-task learning method achieves the state-of-the-art pixel-wise classification on the challenging GID, bridging the tile-level scene classification toward pixel-wise semantic labeling for aerial image interpretation.

연구 동기 및 목표

• 항공 영상 해석에서 굵은 타일 수준의 분류와 세밀한 픽셀 수준의 의미적 레이블링 간의 격차를 해소하기 위해.
• 기준 측정 및 전이 학습을 위한 대규모 다중 클래스 항공 영상 데이터셋을 개발하기 위해.
• 타일 수준의 분류와 개체 기반 분석을 계층적 학습 프레임워크로 통합하여 종단 간 픽셀 수준의 레이블링을 실현하기 위해.
• ImageNet과 비교하여 Million-AID에서 사전 훈련된 모델의 일반화 능력과 이식 가능성(transferability)을 입증하기 위해.
• GID 데이터셋에서 픽셀 수준의 의미적 세분화에 있어서 최신 기술 성능을 달성하기 위해.

제안 방법

• 타일 수준의 장면 분류와 개체 기반 영상 분석을 통합하여 픽셀 수준의 레이블링을 위한 계층적 다중 작업 학습 프레임워크를 제안한다.
• 동질적인 영역을 추출하기 위해 과분할(over-segmentation)을 활용하고, 이를 컨volutional 네트워크 기반의 특징 학습 파이프라인에 통합한다.
• 다중 스케일의 맥락적 특징과 계층적 컨volutional 표현을 활용하여 의미적 이해를 향상시킨다.
• 비슷한 외관을 가진 지형 유형 간의 구분 능력을 향상시키기 위해 의미적 주의 메커니즘을 도입한다.
• 100만 장의 고해상도 항공 영상으로 구성된 Million-AID에서 사전 훈련된 모델을 미세조정함으로써 전이 학습을 활용한다.
• 완전 컨volutional 네트워크와 영역 기반 특징을 융합하여 부드럽고 정확한 세분화 지ap을 생성한다.

실험 결과

연구 질문

• RQ1 대규모로 다양한 항공 영상 데이터셋은 장면 분류를 위한 딥 러닝 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 타일 수준의 분류는 어떻게 효과적으로 픽셀 수준의 의미적 레이블링과 통합되어 항공 영상 해석 성능을 향상시킬 수 있는가?
• RQ3 Million-AID와 같은 대규모 장면 분류 데이터셋에서의 전이 학습은 후행 의미적 세분화 작업의 성능을 어느 정도 향상시키는가?
• RQ4 의미적 주의를 갖춘 계층적 다중 작업 학습은 도전적인 항공 벤치마크에서 기존 종단 간 의미적 세분화 모델을 초월할 수 있는가?
• RQ5 제안된 방법은 관개 농지와 건조 농지처럼 모호하거나 외관이 유사한 지형 유형을 어떻게 다루는가?

주요 결과

• 제안된 방법은 GID 데이터셋에서 Kappa 계수 73.03% 및 전체 정확도 70.04%를 달성하였으며, 이는 이전 최신 기술 방법(PT-GID)보다 Kappa 6.8% 및 OA 3.0% 향상된 성능이다.
• ImageNet에서 사전 훈련된 모델보다 Million-AID에서 미세조정된 모델이 항공 영상 분류에서 일관되게 뛰어난 성능을 보이며, 이는 데이터셋의 뛰어난 일반화 능력을 입증한다.
• 계층적으로 융합된 특징과 의미적 주의 메커니즘을 활용하여, 관개 농지와 건조 농지와 같은 유사한 지형 유형 간의 오분류를 감소시켰다.
• 시각화 결과, 특히 혼합 지형 유형이 많은 복잡한 도시 지역에서 제안된 방법은 PT-GID보다 더 균일하고 부드러운 분류 지도를 생성하는 것으로 나타났다.
• Million-AID 데이터셋은 다양한 카테고리에 걸쳐 100만 장의 고해상도 영상로 구성되어 있어 다중 클래스 및 다중 레이블 항공 장면 분류에 있어 도전적인 벤치마크로 검증되었다.
• GID의 세밀한 분류 세트에서 Million-AID에서의 전이 학습은 뚜렷한 성능 향상을 이끌어내어 원격 감지 응용 분야에서 지식 전이의 유용성을 확인한다.