[논문 리뷰] Multi-patch Feature Pyramid Network for Weakly Supervised Object Detection in Optical Remote Sensing Images

Pourya Shamsolmoali, Jocelyn Chanussot외 3명|arXiv (Cornell University)|2021. 08. 18.

Remote-Sensing Image Classification참고 문헌 58인용 수 44

한 줄 요약

이 논문은 광학 위성 영상에서 약한 감독 하의 객체 검출을 위한 다중패치 특징 피라미드 네트워크인 MPFP-Net을 제안한다. 불완전한 객체 인스턴스와 비凸성 손실 곡면을 다루기 위해 다중패치 학습을 도입하고, 노름 유지형 교차스케일 특징 융합을 통해 다중스케일 검출 성능을 향상시킨다. 모델은 5120만 파라미터와 2280억 FLOPs를 사용하여 LEVIR 데이터셋에서 SOTA 수준의 mAP 86.73%를 달성하며, 정확도와 효율성에서 기존 방법을 뛰어넘는다.

ABSTRACT

Object detection is a challenging task in remote sensing because objects only occupy a few pixels in the images, and the models are required to simultaneously learn object locations and detection. Even though the established approaches well perform for the objects of regular sizes, they achieve weak performance when analyzing small ones or getting stuck in the local minima (e.g. false object parts). Two possible issues stand in their way. First, the existing methods struggle to perform stably on the detection of small objects because of the complicated background. Second, most of the standard methods used hand-crafted features, and do not work well on the detection of objects parts of which are missing. We here address the above issues and propose a new architecture with a multiple patch feature pyramid network (MPFP-Net). Different from the current models that during training only pursue the most discriminative patches, in MPFPNet the patches are divided into class-affiliated subsets, in which the patches are related and based on the primary loss function, a sequence of smooth loss functions are determined for the subsets to improve the model for collecting small object parts. To enhance the feature representation for patch selection, we introduce an effective method to regularize the residual values and make the fusion transition layers strictly norm-preserving. The network contains bottom-up and crosswise connections to fuse the features of different scales to achieve better accuracy, compared to several state-of-the-art object detection models. Also, the developed architecture is more efficient than the baselines.

연구 동기 및 목표

• 제한된 감독 정보와 복잡한 배경으로 인해 소형 또는 부분적으로 노출된 객체를 검출하는 데 도전하는 것.
• 약한 감독 학습에서 손실 함수의 비凸성으로 인해 발생하는 잘못된 객체 부분 검출 및 불완전한 인스턴스 학습을 해결하는 것.
• 노름 유지형 교차스케일 연결을 통해 다양한 수준의 특징을 융합하여 다중스케일 객체 검출을 위한 특징 표현을 향상시키는 것.
• 최신 기술 대비 모델 크기와 FLOPs를 줄이며 높은 정확도를 유지하는 확장 가능하고 효율적인 아키텍처를 개발하는 것.
• 패치 기반 및 스케일 기반 학습 전략을 통합하여 다양한 이미지 소스와 조건에서도 강력한 검출 성능을 확보하는 것.

제안 방법

• 전체 인스턴스 애너테이션이 없더라도 공존하는 특징을 학습할 수 있도록 이미지 패치를 클래스 연관 집합으로 분할하는 다중패치 학습(MPL) 기법을 제안한다.
• 하향식 및 교차 연결 방식의 연결을 사용하여 다중스케일 특징을 융합하는 새로운 특징 융합 메커니즘을 도입하며, 기울기 흐름을 안정화하기 위해 엄격히 노름 유지형 융합 레이어를 적용한다.
• 계산 비용이 높은 소프트맥스 융합을 대체하기 위해 가중치가 부여된 즉각 융합 전략을 도입하여 학습 비용을 1.24배 감소시키면서도 성능을 유지한다.
• 이미지 크기, 깊이, 너비를 동시에 스케일링하여 특징 표현을 전 방향으로 향상시키는 다중방향 스케일링 특징 피라미드 네트워크(ESS-FPN)를 구현한다.
• 패치 선택, 특징 집합, 의미적 투영을 통합한 유일한 프레임워크로 전체 네트워크를 엔드 투 엔드로 훈련하기 위해 연합 손실 함수를 사용한다.
• 더 풍부한 다중수준 특징을 추출하기 위해 백본으로 SPN(의미 피라미드 네트워크)을 채택하여 정확도 향상과 추론 속도 향상을 동시에 달성한다.

실험 결과

연구 질문

• RQ1 전체 인스턴스 애너테이션이 없을 때 다중패치 학습이 공존하는 객체 부분을 모델링하여 약한 감독 하 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 교차스케일 노름 유지형 특징 융합은 위성 영상에서 소형 및 다중스케일 객체 검출 성능을 어떻게 향상시키는가?
• RQ3 이미지 크기, 깊이, 너비를 동시에 스케일링하는 방식이 단일 차원 스케일링 대비 특징 표현과 검출 정확도 향상에 얼마나 기여하는가?
• RQ4 제안된 즉각 융합 기법은 소프트맥스 또는 다이나믹 융합 대비 성능 저하 없이 계산 비용을 줄일 수 있는가?
• RQ5 기준 위성 영상 데이터셋에서 MPFP-Net은 최신 기술 대비 정확도와 효율성 면에서 어떻게 비교되는가?

주요 결과

• MPFP-Net은 LEVIR 테스트 세트에서 평균 정밀도(mAP) 86.73%를 달성하여 기준 모델 MPFP-Net-S6+FPN 대비 8.32 mAP 향상 및 파라미터 수 58% 감소를 기록했다.
• P40 GPU에서 다음으로 빠른 기준 모델 대비 3.7배 더 빠르며, 다른 검출기 대비 추론 지연 시간을 최대 3.8배까지 감소시켰다.
• 제안된 즉각 융합 방법은 소프트맥스 융합 대비 1.24배 더 빠르게 동작하면서도 유사한 mAP와 학습 안정성을 유지하여 계산 비용을 감소시키면서 성능을 손상시키지 않았다.
• 패치 기반 및 스케일 기반 다중 학습 전략을 통합함으로써 검출 효율성과 정확도가 향상되었으며, 단일 패치 학습 또는 단일 차원 스케일링만을 사용하는 모델보다 MPFP-Net이 뛰어난 성능을 보였다.
• DOTA 데이터셋에서 MPFP-Net은 15개 객체 클래스 전반에서 SOTA 성능을 달성했으며, 혼잡한 배경에서도 정밀하고 안정적인 바운딩 박스 예측을 제공했다.
• 대규모 위성 영상에 대한 정성적 결과 분석에서 MPFP-Net은 다양한 이미지 소스와 조건에서도 잘 일반화되며, 소형 및 불완전한 객체에 대한 강력한 검출 성능을 보였다.