[논문 리뷰] AMRNet: Chips Augmentation in Areial Images Object Detection.

Zhiwei Wei, Chenzhen Duan|arXiv (Cornell University)|2020. 09. 15.

Advanced Neural Network Applications참고 문헌 24인용 수 4

한 줄 요약

AMRNet는 항공 영상에서 객체 검출 성능을 햖스키기 위해 세 가지 새로운 데이터 증강 기법—스케일 적응 모듈, 모자이크 증강, 마스크 재표본화—을 제안한다. 동적으로 칩 크기를 조정하고, 모자이크를 통해 객체 희소성을 감소시키며, 전경 세그멘테이션 기반 재표본화로 클래스 불균형을 보완함으로써, 추론 효율성을 희생시키지 않고 VisDrone 및 UAVDT에서 최고 성능을 달성한다.

ABSTRACT

Object detection in aerial images is a challenging task due to the following reasons: (1) objects are small and dense relative to images; (2) the object scale varies in a wide range; (3) the number of object in different classes is imbalanced. Many current methods adopt cropping idea: splitting high resolution images into serials subregions (chips) and detecting on them. However, some problems such as scale variation, object sparsity, and class imbalance exist in the process of training network with chips. In this work, three augmentation methods are introduced to relieve these problems. Specifically, we propose a scale adaptive module, which dynamically adjusts chip size to balance object scale, narrowing scale variation in training. In addtion, we introduce mosaic to augment datasets, relieving object sparity problem. To balance catgory, we present mask resampling to paste object in chips with panoramic segmentation. Our model achieves state-of-the-art perfomance on two popular aerial image datasets of VisDrone and UAVDT. Remarkably, three methods can be independently applied to detectiors, increasing performance steady without the sacrifice of inference efficiency.

연구 동기 및 목표

• 학습 중 객체 스케일 분포에 따라 칩 크기를 동적으로 조정함으로써 항공 영상 객체 검출에서의 스케일 변동을 완화한다.
• 모자이크 기반 데이터 증강을 통해 학습 칩 내 객체 희소성을 감소시킨다.
• 전경 세그멘테이션 마스크를 활용해 객체를 재표본화함으로써 객체 검출의 클래스 불균형을 완화한다.
• 추론 효율성을 유지하면서도 항공 데이터셋에서 검출 성능을 향상시킨다.
• 기존 검출기와의 모듈식 통합을 가능하게 하여 재학습 없이도 증강 기법을 적용할 수 있도록 한다.

제안 방법

• 객체 스케일 분포에 기반해 칩 크기를 동적으로 선택하는 스케일 적응 모듈을 도입하여 학습 샘플 내 스케일 변동을 최소화한다.
• 여러 장고 해상도 영상을 하나의 학습 칩으로 결합하는 모자이크 증강을 적용하여 객체 밀도를 높이고 희소성을 감소시킨다.
• 전경 세그멘테이션 마스크를 활용해 칩 내 객체 배치를 안내함으로써, 다양한 객체 카테고리 간 균형 잡힌 표현을 보장하는 마스크 재표본화를 구현한다.
• 각 기법을 별도로 적용할 수 있도록 모듈식이면서 기존 객체 검출기와 호환되는 증강 파이프라인을 설계한다.
• 기존의 손실 함수를 사용하여 증강 칩으로 검출기를 학습시키며, 아키텍처 변경 없이도 가능하다.
• 복잡한 후처리나 추가 추론 브랜치를 피하기 위해 추론 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 항공 영상 칩에서 객체 검출 학습 중 스케일 변동은 어떻게 줄일 수 있는가?
• RQ2 모자이크 기반 증강은 고해상도 항공 영상 칩 내 객체 희소성에 얼마나 효과적으로 기여하는가?
• RQ3 전경 세그멘테이션 기반 마스크 재표본화가 항공 객체 검출에서 클래스 불균형을 효과적으로 완화할 수 있는가?
• RQ4 제안된 증강 기법들이 개별적으로나 종합적으로 항공 벤치마크에서 검출 성능을 어떻게 향상시키는가?
• RQ5 이러한 증강 기법들은 기존 검출기에 적용할 수 있으며 추론 속도를 저하시키지 않는가?

주요 결과

• 스케일 적응 모듈은 다양한 객체 크기에서 더 안정적이고 정확한 검출을 가능하게 하여 학습 칩 내 스케일 변동을 효과적으로 감소시킨다.
• 모자이크 증강은 희귀하거나 희소한 객체의 존재를 증가시켜 이들에 대한 검출 성능을 크게 향상시킨다.
• 마스크 재표본화를 통해 부족한 객체 카테고리가 학습 칩 내에서 충분히 표현되도록 보장하여 클래스 불균형을 성공적으로 완화한다.
• 제안된 방법들은 VisDrone 및 UAVDT 데이터셋에서 최고 성능을 달성하며, 다양한 평가 지표에서 일관된 성능 향상을 보였다.
• 각 증강 기법은 기존 검출기에 독립적으로 적용 가능하며, 추론 시간을 증가시키지 않고도 안정적인 성능 향상을 이룬다.