[논문 리뷰] You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery

Adam Van Etten|arXiv (Cornell University)|2018. 05. 24.

Advanced Neural Network Applications참고 문헌 4인용 수 207

한 줄 요약

YOLT는 매우 큰 위상 이미지를 위한 빠르고 멀티스케일의 완전 컨볼루션 탐지기를 적용하여, 대규모 위성 장면에서 자동차, 비행기, 보트, 건물, 공항 등 작은 물체를 거의 실시간으로 위치시키는 것을 가능하게 한다.

ABSTRACT

Detection of small objects in large swaths of imagery is one of the primary problems in satellite imagery analytics. While object detection in ground-based imagery has benefited from research into new deep learning approaches, transitioning such technology to overhead imagery is nontrivial. Among the challenges is the sheer number of pixels and geographic extent per image: a single DigitalGlobe satellite image encompasses >64 km2 and over 250 million pixels. Another challenge is that objects of interest are minuscule (often only ~10 pixels in extent), which complicates traditional computer vision techniques. To address these issues, we propose a pipeline (You Only Look Twice, or YOLT) that evaluates satellite images of arbitrary size at a rate of >0.5 km2/s. The proposed approach can rapidly detect objects of vastly different scales with relatively little training data over multiple sensors. We evaluate large test images at native resolution, and yield scores of F1 > 0.8 for vehicle localization. We further explore resolution and object size requirements by systematically testing the pipeline at decreasing resolution, and conclude that objects only ~5 pixels in size can still be localized with high confidence. Code is available at https://github.com/CosmiQ/yolt.

연구 동기 및 목표

• 거대한 위성 이미지에서 매우 작은 물체를 탐지하는 데 따른 도전을 해결한다.
• 고밀도이고 임의 회전된 오버헤드 물체에 적합한 빠른 밀도-격자 CNN 아키텍처를 개발한다.
• 큰 이미지를 관리 가능한 칩으로 나누고 결과를 이어 붙여 네이티브 해상도로 이미지를 처리할 수 있게 한다.
• 데이터 증가와 다중 스케일 분류기를 통해 스케일 및 회전 변화에 대한 변동성을 완화한다.
• 센서 간 전이 가능성을 보여주고 해상도 의존성에 따른 탐지 성능을 분석한다.]
• method=[
• Extend the YOLO-inspired framework with a 22-layer dense network that downsamples by 16 and outputs a 26x26 prediction grid for 416x416 inputs.
• Introduce a passthrough layer that concatenates a high-resolution feature map to refine small object localization.
• Partition large images into overlapping cutouts, evaluate each with a detector, and stitch results into a global map.
• Apply non-maximum suppression on the global set of predictions to remove duplicate detections.
• Use dual classifiers at different scales to reduce confusion between small objects and large infrastructure (e.g., vehicles/buildings vs airports).
• Train with stochastic gradient descent using 5 boxes per grid, learning rate 1e-3, weight decay 0.0005, momentum 0.9.

제안 방법

• YOLO에서 영감을 받은 프레임워크를 22층 밀도 네트워크로 확장하고, 입력 416x416에 대해 16배 다운샘플링하며 26x26 예측 격자를 출력한다.
• 고해상도 특징 맵을 연결해 작은 물체 위치 추정을 정교화하는 패스스루 계층을 도입한다.
• 큰 이미지를 중첩되는 잘라내기로 분할하고 각 부분을 탐지기로 평가한 후 결과를 전역 맵으로 이어 붙인다.
• 중복 탐지를 제거하기 위해 글로벌 예측 집합에 대해 비최대 억제(NMS)를 적용한다.
• 다른 스케일의 이중 분류기를 사용해 작은 물체와 큰 인프라 간 혼동을 줄인다.
• 그리드당 5개의 박스를 사용하고, 학습률 1e-3, 가중치 감소 0.0005, 모멘텀 0.9를 사용한 확률적 경사 하강법으로 학습한다.

실험 결과

연구 질문

• RQ1 매우 작고 밀집된 물체를 가진 오버헤드 영상에 YOLO 유사 탐지기를 효과적으로 적용할 수 있는가?
• RQ2 다중 스케일(이중 분류기) 접근법이 탐지 정확도를 높이고 공항 대 차량/건물과 같은 물체의 거짓 양성을 줄이는가?
• RQ3 위성 영상에서 지상 샘플 거리(해상도) 및 물체 크기에 따라 물체 탐지 성능이 어떻게 달라지는가?
• RQ4 넓은 재학습 없이 센서 간 전이가 가능한가?(예: DigitalGlobe에서 Planet)
• RQ5 네이티브 해상도로 임의의 대형 위성 이미지를 처리할 때의 실용적 추론 속도는 어느 정도인가?

주요 결과

Object Class	F1 Score	Run Time (km^2/min)
Car	0.90±0.09	32
Airplane	0.87±0.08	32
Boat	0.82±0.07	32
Building	0.61±0.15	32
Airport	0.91±0.14	6000

• YOLT는 범주 전반에서 F1 점수가 0.61–0.91 범위를 달성하고, 공항과 차량의 성능이 가장 강력하며(예: 공항 F1 ≈ 0.91, 차량 ≈ 0.90).
• GPU에서 추론 속도가 빠르며 초당 약 50 프레임, 도시 규모 지역의 전체 면적 위치 지정은 몇 분 걸린다.
• 이중 스케일 분류기가 작은 물체와 큰 인프라 간 혼동을 피하게 하여 단일 보편 모델보다 성능이 크게 향상된다.
• 차량의 경우 약 5픽셀 크기까지 높은 신뢰도로 위치 식별 가능하며, 물체 크기가 약 1픽셀까지 감소하면 성능이 점진적으로 저하된다.
• 30 cm GSD에서 자동차, 비행기, 보트, 건물, 공항을 다양한 F1 점수로 탐지하며, 공항은 규모에 따른 강한 강건성을 보인다.
• 파이프라인은 차량 및 건물을 약 30 km^2/분, 공항은 약 6,000 km^2/분으로 위치지정 가능하여 실시간에 가까운 위성 분석의 가능성을 시사한다.