[논문 리뷰] LR-CNN : Local-aware Region CNN for vehicle detection in aerial imagery

Wentong Liao, Xiang Chen외 5명|arXiv (Cornell University)|2020. 01. 01.

Advanced Neural Network Applications참고 문헌 24인용 수 2

한 줄 요약

LR-CNN는 공간 변환 네트워크(스페이셜 트랜스포머 네트워크, STN)를 통해 얕은 레이어에서 특징을 재샘플링하여 공간 정밀도를 복구함으로써 특징 정위치를 향상시키는 이단계 객체 검출 프레임워크를 제안한다. RoIAlign과 STN 유도 특징 정밀화를 조합함으로써, 소형, 고밀도, 임의의 방향을 가진 차량에 대한 검출 정확도를 향상시켰으며, VEDAI 및 DOTA 데이터셋에서 가장 높은 성능을 기록하여 더 좁고 정밀한 바운딩 박스를 제공한다.

ABSTRACT

State-of-the-art object detection approaches such as Fast/Faster R-CNN, SSD, or YOLO have difficulties detecting dense, small targets with arbitrary orientation in large aerial images. The main reason is that using interpolation to align RoI features can result in a lack of accuracy or even loss of location information. We present the Local-aware Region Convolutional Neural Network (LR-CNN), a novel two-stage approach for vehicle detection in aerial imagery. We enhance translation invariance to detect dense vehicles and address the boundary quantization issue amongst dense vehicles by aggregating the high-precision RoIs' features. Moreover, we resample high-level semantic pooled features, making them regain location information from the features of a shallower convolutional block. This strengthens the local feature invariance for the resampled features and enables detecting vehicles in an arbitrary orientation. The local feature invariance enhances the learning ability of the focal loss function, and the focal loss further helps to focus on the hard examples. Taken together, our method better addresses the challenges of aerial imagery. We evaluate our approach on several challenging datasets (VEDAI, DOTA), demonstrating a significant improvement over state-of-the-art methods. We demonstrate the good generalization ability of our approach on the DLR 3K dataset. © 2020 Copernicus GmbH. All rights reserved.

연구 동기 및 목표

• 고해상도 항공 영상에서 소형, 고밀도, 임의의 방향을 가진 차량을 검출하는 과제를 해결한다.
• 기본 R-CNN 프레임워크에서 RoI 풀링과 보간에 의해 발생하는 공간 정밀도 손실을 보완한다.
• 고밀도 차량 시나리오에서 정위치 정확도를 향상시키고 경계 양자화 오차를 줄인다.
• 얕은 레이어에서 정밀한 공간 정보를 융합함으로써 고수준 의미적 특징 표현을 향상시킨다.
• 이미지 해상도, 차량 밀도, 배경 복잡도가 다양한 다양한 항공 데이터셋에 대해 강건한 일반화 성능을 확보한다.

제안 방법

• 소형, 고밀도, 임의의 방향을 가진 차량 검출에 적합한 로컬 인식 영역 컨볼루션 네트워크(LR-CNN) 프레임워크를 도입하여 이동 불변성을 향상시키고 경계 양자화 오차를 줄인다.
• 얕은 특징 맵에서 애핀 변환 매개변수를 예측하기 위해 공간 변환 네트워크(STN)를 활용하여 깊은, 의미 정보가 풍부한 특징의 정밀한 공간 정렬을 가능하게 한다.
• STN를 사용해 고수준 특징을 재샘플링하여 공간 정밀도를 복구함으로써, 풀링된 특징이 정확한 위치 정보를 유지하도록 보장한다.
• 표준 RoI 풀링과 비교해 공간 이질성을 최소화하기 위해 위치 민감한 풀링을 사용한 RoIAlign을 적용해 고정밀도 특징을 추출한다.
• 강한 예외 케이스에 집중하기 위해 포지티브 로스를 활용하며, 재샘플링된 특징으로 인해 향상된 국소 특징 불변성으로 인해 성능이 향상된다.
• RPN 제안과 STN 유도 특징 정밀화를 융합하여 더 정확한 영역 제안을 생성함으로써 최종 분류 및 정위치 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 고수준 의미적 특징이 항공 영상에서 소형, 고밀도, 임의의 방향을 가진 차량에 대해 정밀한 공간 정위치를 회복할 수 있는가?
• RQ2 얕은 레이어에서 특징을 재샘플링하는 것이 고밀도 항공 영상에서의 검출 정확도와 경계 정위치 정확도 향상에 얼마나 기여하는가?
• RQ3 공간 변환 네트워크 기반의 특징 정밀화 메커니즘이 소형 및 기울어진 차량을 처리하는 데 있어 표준 RoI 풀링을 능가할 수 있는가?
• RQ4 강화된 국소 특징 불변성과 함께 포지티브 로스를 통합함으로써 고밀도 상황에서의 어려운 양성 예외 케이스 검출 성능은 어떻게 향상되는가?
• RQ5 제안된 방법은 다양한 항공 데이터셋(이미지 해상도, 차량 밀도, 배경 복잡도가 상이함)에 대해 잘 일반화되는가?

주요 결과

• LR-CNN는 VEDAI 및 DOTA 데이터셋에서 기존의 Faster R-CNN 및 DFL을 능가하는 최고 성능을 기록하며 mAP와 정위치 정확도에서 뛰어난 성능을 보였다.
• 정성적 비교를 통해 고밀도 차량 군집에서 경계 양자화 오차가 크게 감소한 것으로 확인되었으며, 더 좁고 정밀한 바운딩 박스를 제공하였다.
• DOTA 데이터셋에서 LR-CNN는 이전 방법들보다 높은 평균 평균 정밀도(mAP)를 기록했으며, 특히 소형 및 기울어진 차량의 검출 성능 향상이 두드러졌다.
• 얕은 레이어에서 특징을 재샘플링하기 위해 STN를 사용함으로써 공간 정밀도를 복구하여, 임의의 방향을 가진 차량의 정확한 검출이 가능해졌다.
• 정성적 결과에서 LR-CNN는 Faster R-CNN 및 DFL보다 더 많은 차량을 검출했으며, 특히 가림, 그림자, 고밀도 군집과 같은 어려운 케이스에서 뛰어난 성능을 보였다.
• 모델은 강력한 일반화 능력을 보였으며, VEDAI와 같은 다른 데이터셋에서 학습된 후에도 DLR 3K 데이터셋의 복잡한 영역에서도 차량을 정확히 검출하는 데 성공했다.