[논문 리뷰] A Comparison of Super-Resolution and Nearest Neighbors Interpolation Applied to Object Detection on Satellite Data

Evan Koester, Cem Şahin|arXiv (Cornell University)|2019. 07. 08.

Advanced Image Processing Techniques참고 문헌 27인용 수 10

한 줄 요약

이 논문은 대규모 영역에 있는 소형 물체를 보다 잘 탐지하기 위해 위성 영상에 대한 다단계 타일링 및 확대 처리 파이프라인을 제안한다. xView 데이터셋에서 YOLOv2를 사용하여 4배 확대 비율에서 초해상도(MDSR)와 최근접 이웃(NN) 보간법을 비교한 결과, MDSR(AP = 0.6833)와 거의 동일한 탐지 성능을 기록한 NN(AP = 0.6835)이 유의미한 성능 향상 없이 0.02%의 미미한 차이만을 보였으며, MDSR는 더 시각적으로 현실적인 이미지를 생성했음에도 불구하고 탐지 성능에서 우위를 점하지 못했다.

ABSTRACT

As Super-Resolution (SR) has matured as a research topic, it has been applied to additional topics beyond image reconstruction. In particular, combining classification or object detection tasks with a super-resolution preprocessing stage has yielded improvements in accuracy especially with objects that are small relative to the scene. While SR has shown promise, a study comparing SR and naive upscaling methods such as Nearest Neighbors (NN) interpolation when applied as a preprocessing step for object detection has not been performed. We apply the topic to satellite data and compare the Multi-scale Deep Super-Resolution (MDSR) system to NN on the xView challenge dataset. To do so, we propose a pipeline for processing satellite data that combines multi-stage image tiling and upscaling, the YOLOv2 object detection architecture, and label stitching. We compare the effects of training models using an upscaling factor of 4, upscaling images from 30cm Ground Sample Distance (GSD) to an effective GSD of 7.5cm. Upscaling by this factor significantly improves detection results, increasing Average Precision (AP) of a generalized vehicle class by 23 percent. We demonstrate that while SR produces upscaled images that are more visually pleasing than their NN counterparts, object detection networks see little difference in accuracy with images upsampled using NN obtaining nearly identical results to the MDSRx4 enhanced images with a difference of 0.0002 AP between the two methods.

연구 동기 및 목표

• 초해상도(SR) 전처리가 나머지 보간 방법에 비해 위성 영상에서의 물체 탐지 정확도를 향상시키는지 평가하는 것.
• 낮은 지상 샘플 거리(GSD)를 가진 대규모 위성 영상에서 소형 물체(예: 차량)를 탐지하는 데 도전하는 것.
• 고해상도 위성 데이터를 효율적으로 처리하기 위한 새로운 다단계 타일링 및 확대 처리 파이프라인을 개발하고 검증하는 것.
• 초해상도의 계산 비용이 단순한 방법(예: 최근접 이웃)에 비해 측정 가능한 탐지 성능 향상으로 인해 정당화되는지 판단하는 것.
• 더 나은 전처리를 통해 YOLOv2가 항공 영상에서 밀집된 소형 물체 군집을 탐지하는 데 가지는 한계를 극복하는 것.

제안 방법

• 원본 위성 영상의 타일링을 먼저 수행한 후, 각 타일을 MDSR 또는 NN 보간법을 사용해 4배로 확대하는 이중 단계 타일링 파이프라인을 제안.
• 30cm GSD 입력에서 7.5cm 효과적 GSD로의 고해상도 영상을 생성하기 위해 다중 척도 딥 초해상도(MDSR) 네트워크를 적용.
• MDSR와의 직접 비교를 위해 기준선으로서 4배 확대 비율의 최근접 이웃(NN) 보간법을 사용.
• 업샘플된 타일에 대해 YOLOv2 물체 탐지 모델을 훈련 및 평가하며, 경계선을 넘는 바운딩 박스 무결성을 유지하기 위해 레이블 스티칭을 적용.
• 비표준 IOU 대신 교차율-비율(IOA)을 사용해 비최대 억제(NMS)를 수행하여 겹치거나 군집된 차량을 더 잘 처리.
• 실제 위성 영상과 함께 애너테이션된 차량이 포함된 xView 데이터셋을 활용해 파이프라인을 검증.

실험 결과

연구 질문

• RQ1 최근접 이웃 보간법에 비해 초해상도 전처리가 위성 영상에서 소형 물체 탐지 정확도를 유의미하게 향상시키는가?
• RQ2 MDSR 또는 NN을 사용한 4배 확대가 대규모 위성 영상에서 차량 탐지의 평균 정밀도(AP)에 어떤 영향을 미치는가?
• RQ3 제안된 다단계 타일링 및 확대 처리 파이프라인은 단일 단계 타일링에 비해 탐지 성능에서 어떻게 비교되는가?
• RQ4 초해상도의 시각적 향상 수준이 딥 러닝 기반 물체 탐지에서 측정 가능한 성능 향상으로 이어지는가?
• RQ5 위성 기반 물체 탐지 작업에 적용했을 때, 초해상도의 계산 비용이 측정 가능한 탐지 정확도 향상으로 인해 정당화되는가?

주요 결과

• MDSR 또는 NN 보간법을 사용한 4배 확대 처리로 인해, 원본 GSD에서의 단일 단계 타일링 대비 차량 탐지의 평균 정밀도(AP)가 22.8% 향상됨(0.4548에서 0.6833~0.6835로 상승).
• MDSRx4와 NNx4 모두 거의 동일한 AP 점수를 기록함: MDSRx4는 0.6833, NNx4는 0.6835로, AP 차이는 단지 0.0002에 불과함.
• MDSRx4와 NNx4의 정밀도-재현율 곡선은 거의 구분되지 않아, 특징 추출 또는 탐지 능력에 있어 의미 있는 차이가 없음을 시사함.
• 더 사진처럼 현실적인 이미지를 생성함에도 불구하고, MDSR는 탐지 성능 측면에서 NN보다 유의미한 우위를 점하지 못함.
• 확대 처리로 인한 성능 향상은 주로 ImageNet 사전 훈련된 특징에 대응하는 물체 크기 향상 덕분이지, 초해상도 전용 향상 때문이 아님.
• 제안된 이중 단계 타일링 및 확대 처리 파이프라인은 YOLOv2가 위성 영상에서 밀집된 소형 물체 군집을 탐지하는 데 가지는 한계를 효과적으로 완화함.