[논문 리뷰] Towards Multi-class Object Detection in Unconstrained Remote Sensing Imagery

Seyed Majid Azimi, Eleonora Vig외 3명|arXiv (Cornell University)|2018. 07. 07.

Advanced Neural Network Applications참고 문헌 26인용 수 5

한 줄 요약

이 논문은 다중 크기 컨볼루션 커널, 회전 인식 영역 제안 및 ROI 네트워크, 그리고 직사각형 방향성 바운딩 박스를 강제하는 새로운 기하학적 손실을 활용한 통합 이미지 카스케이드 및 특징 피라미드 네트워크를 사용하여 제약 없는 원격 감시 영상에서 다중 클래스 객체 검출을 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 방법은 DOTA 데이터셋에서 수평 바운딩 박스 검출 시 68.16% mAP, 방향성 바운딩 박스 검출 시 72.45% mAP를 달성하여 이전의 모든 방법보다 크게 뛰어나다.

ABSTRACT

Automatic multi-class object detection in remote sensing images in unconstrained scenarios is of high interest for several applications including traffic monitoring and disaster management. The huge variation in object scale, orientation, category, and complex backgrounds, as well as the different camera sensors pose great challenges for current algorithms. In this work, we propose a new method consisting of a novel joint image cascade and feature pyramid network with multi-size convolution kernels to extract multi-scale strong and weak semantic features. These features are fed into rotation-based region proposal and region of interest networks to produce object detections. Finally, rotational non-maximum suppression is applied to remove redundant detections. During training, we minimize joint horizontal and oriented bounding box loss functions, as well as a novel loss that enforces oriented boxes to be rectangular. Our method achieves 68.16% mAP on horizontal and 72.45% mAP on oriented bounding box detection tasks on the challenging DOTA dataset, outperforming all published methods by a large margin (+6% and +12% absolute improvement, respectively). Furthermore, it generalizes to two other datasets, NWPU VHR-10 and UCAS-AOD, and achieves competitive results with the baselines even when trained on DOTA. Our method can be deployed in multi-class object detection applications, regardless of the image and object scales and orientations, making it a great choice for unconstrained aerial and satellite imagery.

연구 동기 및 목표

• 제약 없는 원격 감시 영상에서의 다중 클래스 객체 검출 도전 과제를 해결하기 위해, 극단적인 척도 및 방향 변화, 복잡한 배경, 다양한 센서 모odal리티를 고려한다.
• 항공 및 위성 영상에서 임의의 방향으로 배치된 객체에 대해 검출 정확도를 향상시키며, 특히 주차장과 같은 밀도 높은 상황에서 유의미한 성능 향상을 이룬다.
• 다양한 공간 해상도와 객체 특성을 지닌 데이터셋 간에 잘 작동하는 강력하고 일반화 능력이 뛰어난 방법을 개발한다.
• 방향성 바운딩 박스가 직사각형을 유지하도록 강제하는 새로운 기하학적 손실 함수를 도입한다.

제안 방법

• 원본 이미지와 그의 다운샘플된 버전들로부터 다중 척도 특징을 추출하기 위해 통합 이미지 카스케이드 네트워크(ICN)와 특징 피라미드 네트워크(FPN)를 사용하여 척도 간 특징 표현을 향상시킨다.
• 복잡한 환경에서의 특징 학습을 향상시키기 위해 다중 척도 및 다중 수신장 특징을 적응적으로 캡처할 수 있는 변형 가능 인셉션 네트워크(DIN)를 도입한다.
• 방향성 기반 영역 제안 네트워크(R-RPN)와 영역 관심 네트워크(R-ROI)를 활용하여 방향성 바운딩 박스를 생성하고 정밀하게 보정함으로써, 임의의 방향으로 배치된 객체의 정확한 국소화를 가능하게 한다.
• 학습 중 비직사각형 사다리형을 방지하기 위해, 방향성 바운딩 박스가 직사각형을 유지하도록 강제하는 새로운 기하학적 손실 함수를 제안한다.
• 중복된 검출을 억제하면서도 방향성 박스 예측을 유지하기 위해 회전 기반 비최대 억제(R-NMS)를 적용한다.
• 수평 및 방향성 바운딩 박스 회귀와 함께 제안된 기하학적 정규화 손실 함수를 포함한 통합 손실 함수를 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합 이미지 카스케이드 및 특징 피라미드 아키텍처가 원격 감시 영역 객체 검출을 위한 다중 척도 특징 학습에 기여하는가?
• RQ2 항공 영상에서 임의의 방향으로 배치된 객체에 대해 방향성 인식 영역 제안 및 ROI 네트워크를 통합할 경우 검출 정확도에 어떤 영향을 미치는가?
• RQ3 방향성 바운딩 박스의 직사각형 유지 조건을 강제할 경우 국소화 성능과 일반화 능력에 어떤 정도의 향상이 이루어지는가?
• RQ4 단지 DOTA 데이터셋에서만 훈련된 모델이 NWPU VHR-10 및 UCAS-AOD와 같은 다른 원격 감시 데이터셋으로 효과적으로 일반화되는가?
• RQ5 제안된 기하학적 손실 함수가 방향성 객체 검출에서 국소화 오류와 잘못된 양성 예측을 줄이는 데 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 DOTA 데이터셋에서 수평 바운딩 박스 검출 작업에서 68.16% mAP, 방향성 바운딩 박스 검출 작업에서 72.45% mAP를 달성하여 각각 이전 최고 성능보다 +6% 및 +12%의 절대적 향상을 보였다.
• 모델는 다른 데이터셋으로도 잘 일반화된다: DOTA에서 미리 훈련된 후 NWPU VHR-10에서 95.01% mAP, UCAS-AOD에서 95.67% mAP를 달성했으며, 이는 훈련 데이터셋의 다양성과 관계없이 뛰어난 일반화 능력을 보여준다.
• 단지 DOTA 데이터셋에서만 훈련된 경우에도 모델은 NWPU VHR-10에서 82.23% mAP, UCAS-AOD에서 86.13% mAP를 달성하여 강력한 제로샷 일반화 능력을 입증했다.
• 거짓 양성 비율은 낮으며, 대부분의 혼동은 배경과 긴 객체(예: 다리, 항구) 사이, 그리고 작은 차량과 큰 차량 사이에서 발생하여 유사한 크기 또는 긴장한 형태의 객체를 구분하는 데 어려움이 있음을 시사한다.
• 제안된 기하학적 손실 함수는 비직사각형 예측을 효과적으로 줄이고, 특히 조밀하게 배치되거나 긴 형태의 객체에서 국소화 정확도를 향상시킨다.
• 모델는 지상 샘플링 거리(GSD)의 변동성에 대해 강건하며, 다양한 공간 해상도를 지닌 항공 및 위성 영상 모두에서 잘 작동한다.