[논문 리뷰] Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images

Lin Cheng, Xu Liu외 3명|arXiv (Cornell University)|2018. 07. 19.

Remote-Sensing Image Classification참고 문헌 30인용 수 13

한 줄 요약

이 논문은 광학 위성 영상에서의 객체 검출을 위한 새로운 이단계 검출 프레임워크인 딥 어댑티브 프로포절 네트워크(DAPNet)를 제안한다. DAPNet은 Faster R-CNN에 카테고리 사전 네트워크(CPN)를 통합하여 적응형이고 클래스 인식 가능한 영역 프로포절을 생성함으로써 성능을 향상시킨다. DAPNet은 객체 밀도와 카테고리에 따라 이미지당 프로포절 수를 동적으로 조정하여 NWPU VHR-10 데이터셋에서 최신 기술 수준(SoA)의 평균 mAP를 달성하며, Faster R-CNN 및 기타 최신 기술 대비 정확도는 향상되고 계산 비용은 감소시킨다.

ABSTRACT

Object detection is a fundamental and challenging problem in aerial and satellite image analysis. More recently, a two-stage detector Faster R-CNN is proposed and demonstrated to be a promising tool for object detection in optical remote sensing images, while the sparse and dense characteristic of objects in remote sensing images is complexity. It is unreasonable to treat all images with the same region proposal strategy, and this treatment limits the performance of two-stage detectors. In this paper, we propose a novel and effective approach, named deep adaptive proposal network (DAPNet), address this complexity characteristic of object by learning a new category prior network (CPN) on the basis of the existing Faster R-CNN architecture. Moreover, the candidate regions produced by DAPNet model are different from the traditional region proposal network (RPN), DAPNet predicts the detail category of each candidate region. And these candidate regions combine the object number, which generated by the category prior network to achieve a suitable number of candidate boxes for each image. These candidate boxes can satisfy detection tasks in sparse and dense scenes. The performance of the proposed framework has been evaluated on the challenging NWPU VHR-10 data set. Experimental results demonstrate the superiority of the proposed framework to the state-of-the-art.

연구 동기 및 목표

• 고정된 영역 프로포절 방법(예: Faster R-CNN)이 다양한 객체 밀도(희박 vs. 고밀도)를 가진 광학 위성 영상에서 성능을 제한하는 문제를 해결한다.
• 모든 이미지에 동일한 수의 영역 프로포절을 사용하는 방식의 비효율성과 최적화되지 않은 성능을 해결한다.
• 프로포절 생성 과정에 카테고리별 사전 지식을 통합함으로써 소형 및 희귀 객체의 검출 정확도를 향상시킨다.
• 학습된 카테고리 사전 지식 기반의 적응형 프로포절 생성을 통해 계산 비용을 줄이면서도 검출 성능을 유지하거나 향상시킨다.
• 고해상도 위성 영상에 대한 과제가 되는 도전적인 NWPU VHR-10 벤치마크 데이터셋에서 최신 기술 수준의 검출 정확도를 달성한다.

제안 방법

• 백본 네트워크의 고수준 특징을 사용하여 각 후보 영역이 특정 객체 카테고리에 속할 가능성을 예측하는 카테고리 사전 네트워크(CPN)를 도입한다.
• CPN의 출력을 Faster R-CNN 영역 프로포절 네트워크(F-RPN)와 통합하여 고정 크기의 프로포절이 아닌 적응형이고 클래스 조건에 맞는 영역 프로포절을 생성한다.
• 예측된 카테고리 확률을 활용해 이미지당 프로포절 수를 동적으로 조정하여 고밀도 장면에서는 충분한 커버리지가 확보되고 희박한 장면에서는 더 적은 프로포절이 생성되도록 한다.
• Faster R-CNN와 동일한 VGG-16 백본과 ImageNet 사전 훈련 가중치를 사용하여 DAPNet을 엔드 투 엔드로 훈련하고, RPN 및 CPN 브랜치를 함께 최적화한다.
• F-RPN의 다중 해상도 특징 맵을 활용해 영역 프로포절을 생성하고, CPN은 의미론적 카테고리 사전 지식 기반으로 프로포절 선택을 안내한다.
• F-RPN 출력과 CPN가 예측한 클래스 스코어를 조합하는 미분 가능 프로포절 선택 메커니즘을 적용하여 최적화된 적응형 프로포절을 최종적으로 생성한다.

실험 결과

연구 질문

• RQ1 학습 가능한 카테고리 사전 네트워크가 장면 특화의 객체 밀도 및 분포에 적응함으로써 위성 영상 객체 검출에서 프로포절 품질을 향상시킬 수 있는가?
• RQ2 카테고리 사전 지식 기반의 적응형 프로포절 생성 방식이 Faster R-CNN와 같은 고정 프로포절 방법 대비 검출 정확도와 추론 효율성에 어떤 영향을 미치는가?
• RQ3 제안된 DAPNet 프레임워크가 다양한 객체 크기와 밀도를 가진 위성 영상 데이터셋에서 기존의 이단계 검출기들보다 얼마나 뛰어난 성능을 보이는가?
• RQ4 DAPNet이 일부 소형 객체 카테고리(예: 저장 탱크)에서 개선 폭이 제한적인 이유는 무엇이며, 이는 고수준 특징에서의 특징 표현 한계 때문일 수 있는가?
• RQ5 카테고리 사전 지식 통합을 통해 검출 성능을 훼손하지 않으면서도 프로포절 수를 줄일 수 있는가, 특히 희박한 장면에서의 효율성은 어떠한가?

주요 결과

• DAPNet은 항공기 카테고리에서 Faster R-CNN 대비 평균 정밀도(mAP)를 8.99% 향상시켰으며, 테니스 코트에서는 8.43%, 농구 코트에서는 7.74%, 항구에서는 5.33%, 다리에서는 8.97% 향상되었다.
• 카테고리 사전 네트워크(CPN)의 추가로 기반 F-Faster R-CNN 모델 대비 mAP가 1.23% 향상되었으며, 특히 저장 탱크와 차량 카테고리에서 성능 향상이 두드러졌다.
• RICNN보다는 낮은 mAP를 기록했지만, DAPNet은 훨씬 적은 영역 프로포절 수와 낮은 계산 비용으로 이를 달성하여 효율성 향상을 입증했다.
• DAPNet은 이미지당 평균 추론 시간을 0.408초로 줄여, Faster R-CNN(0.289초)보다 mAP 성능은 뛰어나면서도 경쟁 가능한 속도를 유지했으며, RICNN(8.83초) 및 FDDL(7.54초) 등 다른 방법들보다는 계산 비용을 크게 감소시켰다.
• 정성적 결과 분석에서 DAPNet은 10개 카테고리 중 8개에서 Faster R-CNN보다 더 뛰어난 검출 성능을 보였으며, 항구나 다리와 같은 고밀도 장면에서 더 적은 오진 탐지(false positives)를 기록했다.
• 학습된 카테고리 사전 지식 기반으로 이미지당 프로포절 수를 조정함으로써 희박한 장면과 고밀도 장면 모두에서 강건한 성능을 보이며, 적응형 프로포절 메커니즘의 효과성을 확인했다.