[논문 리뷰] ShipSRDet: An End-to-End Remote Sensing Ship Detector Using Super-Resolved Feature Representation

Shitian He, Huanxin Zou외 3명|arXiv (Cornell University)|2021. 03. 17.

Advanced Image Processing Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 이미지 초해상도(SR)와 선박 검출을 함께 최적화하기 위해 초해상도(SR) 및 검출 네트워크의 중간 특징을 융합하는 엔드 투 엔드 딥러닝 프레임워크인 ShipSRDet을 제안한다. 초해상도 이미지와 특징 표현을 통합함으로써 ShipSRDet는 HRSC 데이터셋에서 64.50%의 mAP를 달성하며, 이는 진짜 고해상도 이미지에서의 검출 성능인 68.80% mAP에 거의 근접한다. 이는 초해상도에서의 지식 전이가 이미지 수준의 초해상도만으로도 성능을 향상시키는 것 이상의 효과를 낼 수 있음을 보여준다.

ABSTRACT

High-resolution remote sensing images can provide abundant appearance information for ship detection. Although several existing methods use image super-resolution (SR) approaches to improve the detection performance, they consider image SR and ship detection as two separate processes and overlook the internal coherence between these two correlated tasks. In this paper, we explore the potential benefits introduced by image SR to ship detection, and propose an end-to-end network named ShipSRDet. In our method, we not only feed the super-resolved images to the detector but also integrate the intermediate features of the SR network with those of the detection network. In this way, the informative feature representation extracted by the SR network can be fully used for ship detection. Experimental results on the HRSC dataset validate the effectiveness of our method. Our ShipSRDet can recover the missing details from the input image and achieves promising ship detection performance.

연구 동기 및 목표

• 기존의 초해상도 기반 선박 검출 방법이 초해상도와 검출을 별개의 상호작용 없는 과정으로 간주하는 한계를 해결하기 위해.
• 초해상도 네트워크의 중간 특징 표현이 단지 초해상도 이미지를 사용하는 것 이상으로 선박 검출 성능을 향상시킬 수 있는지 조사하기 위해.
• 특징 수준의 융합을 사용하여 초해상도와 선박 검출을 함께 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 설계하기 위해.
• 초해상도 특징 표현의 효과성을 검증하여 원거리 감시 영상에서의 검출 정확도 향상에 기여하는지 확인하기 위해.
• 이미지 수준의 초해상도만으로도 성능 향상을 얻는 것보다 특징 수준의 통합이 초해상도 및 검출 네트워크 간에 성능 향상을 가져오는지 보여주기 위해.

제안 방법

• 이 방법은 이중 브랜치 아키텍처를 사용한다: 잔차 밀집 블록(RDB) 기반의 초해상도(SR) 모듈과 VGG-16 백본을 사용하는 SSD 기반의 검출 모듈.
• SR 모듈은 초해상도 이미지와 함께 두 개의 중간 특징을 생성한다: 저해상도 입력($\mathcal{F}^{LR}_{out}$)에서 유도된 특징과 고해상도 출력($\mathcal{F}^{HR}_{out}$)에서 유도된 특징으로, 각각 64채널이다.
• 검출 모듈은 $\mathcal{F}^{LR}_{out}$와 $\mathcal{F}^{HR}_{out}$를 각각 256채널과 64채널로 변환하여 VGG-16의 특징 차원과 일치시킨다.
• 변환된 특징은 VGG-16 네트워크의 2번째 및 7번째 레이어에 추가되어, 검출 표현 향상을 위한 네트워크 간 특징 융합을 가능하게 한다.
• 전체 네트워크는 초해상도와 검출 목표를 함께 최적화하여 엔드 투 엔드로 학습되며, 이로써 초해상도 네트워크가 검출에 유용한 세부 정보에 적응할 수 있도록 한다.
• 특징을 업샘플링하기 위해 서브픽셀 컨볼루션 레이어를 사용하고, 학습 안정성과 저수준 세부 정보 유지에 기여하기 위해 스킵 연결을 적용한다.

Fig. 1 : Visual results achieved by our ShipSRDet on the HRSC dataset [ 7 ] . Our method recovers missing details in the input image and achieves promising detection performance.

실험 결과

연구 질문

• RQ1 초해상도 네트워크의 중간 특징 표현이 단지 초해상도 이미지를 사용하는 것 이상으로 원거리 감시 선박 검출 성능을 향상시킬 수 있는가?
• RQ2 초해상도와 검출을 엔드 투 엔드로 공동 최적화하는 것과 사전 학습된 SR 후 별도의 검출 미세조정을 수행하는 것의 성능 비교는 어떻게 되는가?
• RQ3 초해상도 및 검출 네트워크 간의 특징 수준 융합이 원거리 감시 영상에서의 검출 mAP에 기여하는 정도는 어느 정도인가?
• RQ4 이중화된 방법이 비쿠빅 업샘플링 또는 사전 학습된 SR 네트워크를 사용하는 기준선 방법보다 어떻게 비교되는가?
• RQ5 특징 통합 초해상도가 진짜 고해상도 이미지에서의 검출 성능 상한선(68.80% mAP)에 비해 얼마나 높은 정확도 향상을 이룰 수 있는가?

주요 결과

• ShipSRDet는 HRSC 데이터셋에서 평균 평균 정밀도(mAP) 64.50%를 달성하였으며, 기준선 Bicubic+SSD(58.80%)와 사전 학습된 SRnet+SSD(60.10%)를 크게 앞서나갔다.
• SRnet+SSD 변형의 엔드 투 엔드 미세조정은 mAP를 3.70% 향상시켜 63.80%로 개선했으며, 검출 기반 초해상도 학습의 이점을 입증했다.
• ShipSRDet에서 제안된 특징 통합은 (SRnet+SSD)_ft보다 추가로 0.70%의 mAP 향상을 이룩하여, 중간 특징 융합이 검출 성능 향상에 추가 기여함을 보여주었다.
• 이 방법은 진짜 고해상도 이미지에서의 검출 상한선 68.80% mAP에 매우 가까이 도달하여 강력한 성능 복원 능력을 보였다.
• 시각적 결과는 ShipSRDet가 저해상도 입력에서 세부 정보를 회복하여 비쿠빅 보간법 대비 거짓 경고 및 누락 탐지 수를 줄임을 확인했다.
• ShipSRDet의 평균 추론 시간은 128×128 이미지당 190 ms로, 진짜 고해상도 이미지에서 직접 검출하는 데 필요한 81 ms보다 略로 높아 성능 향상에 대한 소량의 효율성 희생이 있음을 시사한다.

Fig. 2 : An overview of our ShipSRDet .