[논문 리뷰] Synthetic Data and Hierarchical Object Detection in Overhead Imagery

Nathan Clement, Alan Schoen외 2명|arXiv (Cornell University)|2021. 01. 29.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

이 논문은 저해상도 및 제로샷 원격 감시 시나리오에서 성능을 햖थ기 위해 합성 데이터를 사용하는 계층적 객체 검출 프레임워크를 제안한다. 실재감 있는 3D 렌더링 이미지의 리스킨닝을 위한 GAN-Reskinner와 실제 데이터로 넓은 클래스를, 합성 데이터로 좁은 대상 클래스를 활용하는 광범위한-부터-좁은 범위로의 검출 아키텍처를 도입하여 위성 항공사진에서 제로샷 설정에서 최고 수준의 리콜을 달성한다.

ABSTRACT

The performance of neural network models is often limited by the availability of big data sets. To treat this problem, we survey and develop novel synthetic data generation and augmentation techniques for enhancing low/zero-sample learning in satellite imagery. In addition to extending synthetic data generation approaches, we propose a hierarchical detection approach to improve the utility of synthetic training samples. We consider existing techniques for producing synthetic imagery--3D models and neural style transfer--as well as introducing our own adversarially trained reskinning network, the GAN-Reskinner, to blend 3D models. Additionally, we test the value of synthetic data in a two-stage, hierarchical detection/classification model of our own construction. To test the effectiveness of synthetic imagery, we employ it in the training of detection models and our two stage model, and evaluate the resulting models on real satellite images. All modalities of synthetic data are tested extensively on practical, geospatial analysis problems. Our experiments show that synthetic data developed using our approach can often enhance detection performance, particularly when combined with some real training images. When the only source of data is synthetic, our GAN-Reskinner often boosts performance over conventionally rendered 3D models and in all cases the hierarchical model outperforms the baseline end-to-end detection architecture.

연구 동기 및 목표

• 위성 항공사진에서 객체 검출을 위한 실재 데이터가 제한된 상황, 특히 저샷 및 제로샷 학습 환경에서의 도전 과제를 해결한다.
• 합성과 실재 위성 이미지 간의 도메인 갭을 줄이기 위해 합성 훈련 샘플의 현실성 향상.
• 검출과 분류를 분리하여 더 나은 일반화와 데이터 효율성을 확보하는 모듈러한 이단계 검출 아키텍처 개발.
• 다양한 합성 데이터 생성 기법—3D CAD 렌더링, GAN-Reskinner, 신경 스타일 전이—이 실세계 지리공간 검출 작업에 미치는 영향 평가.
• 합성 데이터를 활용한 계층적 검출이 실재 데이터가 없는 경우에 특히 리콜과 정밀도를 크게 향상시킨다는 것을 입증한다.

제안 방법

• 3D 렌더링된 합성 이미지를 입력으로 받아 실재감 있는 텍스처로 재렌더링하여 도메인 이탈을 줄이는 조건부 GAN 기반 리스킨닝 네트워크인 GAN-Reskinner를 제안한다.
• 실재 이미지의 텍스처를 합성 객체에 전이하는 방식으로, 3D CAD 모델과 적대적 훈련을 통합하여 다양하고 현실적인 위성 항공사진을 생성한다.
• 소규모 실재 데이터 세트를 증강하기 위해 신경 스타일 전이를 적용하여 이미징 조건(예: 계절, 조명)의 변동에 대한 모델의 강건성을 향상시킨다.
• 광범위한-부터-좁은 범위로의 이단계 검출 아키텍처 설계: 첫 번째로, 실재 데이터를 사용해 일반 객체 카테고리 검출; 두 번째로, 합성 데이터를 사용해 특정 대상 클래스의 예측을 정밀화한다.
• 실재 데이터로 관련 클래스(예: 모든 차량)를 훈련시킨 광범위한 검출기와, 목표 클래스(예: 소형 승용차)의 합성 데이터 전용으로 훈련된 좁은 분류기로 구성한다.
• 광범위한 검출기의 출력을 좁은 분류기가 필터링하는 연속 훈련 전략을 사용하여, 세분화된 분류를 위한 합성 데이터를 활용한 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D CAD 렌더링과 GAN 기반 리스킨닝 텍스처를 통해 생성된 합성 데이터가 실재 데이터만을 사용할 경우보다 위성 항공사진에서 객체 검출 성능을 향상시키는가?
• RQ2 GAN-Reskinner 기법이 객체 검출 작업에서 합성과 실재 위성 이미지 간의 도메인 갭을 어떻게 줄이는가?
• RQ3 광범위한-부터-좁은 범위로의 계층적 검출 아키텍처가 엔드 투 엔드 모델 대비 제로샷 및 저샷 검출 성능을 얼마나 향상시키는가?
• RQ4 소규모 실재 데이터 세트를 증강하기 위해 신경 스타일 전이가 얼마나 효과적인가? 특히 다양한 이미징 조건에 대한 모델 일반화 능력 향상에 기여하는가?
• RQ5 3D 렌더링, GAN-Reskinner, 스타일 전이와 같은 다수의 합성 데이터 생성 기법을 조합하면 단일 기법보다 더 나은 검출 성능을 얻을 수 있는가?

주요 결과

• GAN-Reskinner는 전통적인 3D 모델 렌더링 대비 일관되게 검출 성능을 향상시키며, 특히 도메인 이탈 감소와 특징 구분 능력 향상에 기여한다.
• 제로샷 검출에서 광범위한-부터-좁은 범위로의 모델은 실재 데이터로 광범위한 클래스를, 합성 데이터로 좁은 클래스를 훈련시켜 항공기와 승용차에 대해 100% 리콜을 달성했으며, 엔드 투 엔드 모델을 능가했다.
• 저샷 설정에서 광범위한-부터-좁은 범위 아키텍처는 좁은 클래스에 대해 합성 데이터 전용 훈련으로도 항공기 97.6% 및 승용차 97.0%의 리콜을 기록했으며, 엔드 투 엔드 기준선을 크게 초월했다.
• 합성 데이터 전용으로 훈련된 경우 GAN-Reskinner 기반 모델은 항공기 100% 및 승용차 96.3%의 리콜을 기록하여 제로샷 환경에서의 효과성을 입증했다.
• 계층적 모델은 광범위한 검출 결과를 좁은 분류기로 필터링하여 임의의 양성 검출을 줄였으며, 최적 구성(R+C+G+N)은 항공기 99.4% 및 승용차 95.1%의 리콜을 달성하면서도 최소한의 임의의 양성 검출을 기록했다.
• 신경 스타일 전이는 이미징 조건 변화에 대한 모델 강건성을 향상시켰으며, 다른 합성 데이터 기법과 조합할 경우 계절 및 조명 조건의 다양성에 걸쳐 일반화 능력을 향상시켰다.