[논문 리뷰] AMRNet: Chips Augmentation in Aerial Images Object Detection

Zhiwei Wei, Chenzhen Duan외 3명|arXiv (Cornell University)|2020. 09. 15.

Advanced Neural Network Applications인용 수 25

한 줄 요약

AMRNet는 항공 이미지에서 객체 검출 성능을 햖스르기 위해 추론 비용이 들지 않는 세 가지 효율적인 데이터 증강 기법—적응형 컷팅, 모자이크 증강, 마스크 재표본화—을 제안한다. 칩 크기를 동적으로 조정하고 희박한 부분 영역을 복합적인 이미지로 통합하며 희귀 클래스 객체 마스크를 재표본화함으로써, AMRNet는 VisDrone에서 최고 성능(AP 30.8), UAVDT에서 18.2의 AP를 기록하며, 추론 속도를 저하시키지 않은 채 각 기법이 독립적으로 성능 향상을 이끌어낸다.

ABSTRACT

Object detection in aerial images is a challenging task due to the following reasons: (1) objects are small and dense relative to images; (2) the object scale varies in a wide range; (3) the number of object in different classes is imbalanced. Many current methods adopt cropping idea: splitting high resolution images into serials subregions (chips) and detecting on them. However, some problems such as scale variation, object sparsity, and class imbalance exist in the process of training network with chips. In this work, three augmentation methods are introduced to relieve these problems. Specifically, we propose a scale adaptive module, which dynamically adjusts chip size to balance object scale, narrowing scale variation in training. In addtion, we introduce mosaic to augment datasets, relieving object sparity problem. To balance catgory, we present mask resampling to paste object in chips with panoramic segmentation. Our model achieves state-of-the-art perfomance on two popular aerial image datasets of VisDrone and UAVDT. Remarkably, three methods can be independently applied to detectiors, increasing performance steady without the sacrifice of inference efficiency.

연구 동기 및 목표

• 칩 기반 훈련을 통해 항공 이미지 객체 검출에서 척도 변동성, 객체 희소성, 클래스 불균형 문제를 해결한다.
• 작은, 조밀한, 불균형한 항공 객체에 대한 검출기 일반화 능력과 성능을 향상시킨다.
• 기존 칩 기반 검출기에 쉽게 통합할 수 있는 경량이면서 추론 호환성 있는 증강 방법을 개발한다.
• VisDrone와 UAVDT 데이터셋에서 각 증강 기법의 독립적 및 통합적 효과를 검증한다.

제안 방법

• 평균 객체 크기에 따라 칩 크기를 동적으로 조정하는 적응형 컷팅 모듈을 도입하여 칩 간 척도 변동성을 줄인다.
• 다양한 희박한 부분 영역을 하나의 복합 이미지로 통합함으로써 모자이크 증강을 적용하여 전경 객체의 밀도와 다양성을 높인다.
• 전경 세그멘테이션을 사용하여 인스턴스 마스크를 붙여넣는 마스크 재표본화 기법을 제안하여 희귀 카테고리의 공간적 및 의미적 맥락을 유지한다.
• 적응형 컷팅을 안내하기 위해 척도 임계값 파라미터를 사용하며, VisDrone에는 100, UAVDT에는 60을 설정하여 최적의 객체-칩 커버리지 확보.
• 모자이크 객체의 척도를 50 및 30 픽셀 이하로 제한하여 현실성 유지 및 과적합 방지.
• 자동차를 제외한 모든 클래스에 대해 마스크 재표본화를 선택적으로 적용하여 희귀 카테고리 중심의 클래스 분포 균형 조절.

실험 결과

연구 질문

• RQ1 적응형 컷팅은 다양한 크기의 객체에 걸쳐 칩 간 척도 변동성을 줄이고 검출기의 강건성을 향상시키는가?
• RQ2 모자이크 증강은 부분 영역을 통합하여 더 풍부한 훈련 샘플을 만들어내어 칩 내 객체 희소성을 효과적으로 완화하는가?
• RQ3 인스턴스 수준 세그멘테이션 기반 마스크 재표본화가 불균형 데이터셋에서 희귀 객체 카테고리의 검출 성능 향상에 기여하는가?
• RQ4 세 가지 증강 기법이 개별적으로 및 조합적으로 항공 기준 데이터셋에서 검출 정확도를 얼마나 향상시키는가?
• RQ5 이러한 기법들은 추론 시간을 증가시키지 않고 적용 가능하여 기존 검출기에 즉시 통합 가능한가?

주요 결과

• AMRNet는 ResNet-50 기반으로 VisDrone 데이터셋에서 최고 성능(AP 30.8)을 달성하여 이전 방법들을 능가한다.
• UAVDT에서 모델은 18.2의 AP를 기록하며, 모자이크 증강만으로도 베이스라인 대비 1.6점 향상된 성능을 보였다.
• 다중 척도 추론과 함께 적용했을 때 적응형 컷팅은 다중 척도 테스트 성능을 1.7점 향상시켜 척도 정렬의 효과를 입증했다.
• 모자이크 증강은 단지 10,000장의 이미지만 증강된 경우에도 0.3점의 AP 향상을 기록하여 희박한 칩에서 강력한 효과를 보였다.
• 마스크 재표본화와 모자이크 증강은 각각 0.2점의 겹치는 성능 향상 기여를 보이며, 둘 다 희귀 클래스의 부족 대응 문제를 완화하는 데 기여함을 시사한다.
• 절단 실험 결과 모든 세 가지 기법이 독립적으로 성능 향상을 이끌어내며, 특히 적응형 컷팅과 모자이크 증강이 AP 향상에 가장 큰 기여를 했다.