[논문 리뷰] Delving into Robust Object Detection from Unmanned Aerial Vehicles: A Deep Nuisance Disentanglement Approach

Zhenyu Wu, Karthik Suresh외 4명|arXiv (Cornell University)|2019. 08. 11.

Advanced Neural Network Applications참고 문헌 38인용 수 5

한 줄 요약

이 논문은 UAV 영상에서 강건한 객체 검출을 향상시키기 위해 자유롭게 이용 가능한 UAV 메타데이터(고도, 시야각, 날씨)를 활용하여 적대적 훈련 중 도메인 특화 성향을 분리하는 딥 노이즈 분리 기법인 Nuisance Disentangled Feature Transform (NDFT)을 제안한다. 이 방법은 UAVDT 및 VisDrone2018에서 단일 모델 성능으로 최신 기준을 달성하며, VisDrrone2018에서 DE-FPN 대비 4.36 mAP 향상과 크로스-데이터셋 전이 학습에서 4.23 AP 향상을 기록한다.

ABSTRACT

Object detection from images captured by Unmanned Aerial Vehicles (UAVs) is becoming increasingly useful. Despite the great success of the generic object detection methods trained on ground-to-ground images, a huge performance drop is observed when they are directly applied to images captured by UAVs. The unsatisfactory performance is owing to many UAV-specific nuisances, such as varying flying altitudes, adverse weather conditions, dynamically changing viewing angles, etc. Those nuisances constitute a large number of fine-grained domains, across which the detection model has to stay robust. Fortunately, UAVs will record meta-data that depict those varying attributes, which are either freely available along with the UAV images, or can be easily obtained. We propose to utilize those free meta-data in conjunction with associated UAV images to learn domain-robust features via an adversarial training framework dubbed Nuisance Disentangled Feature Transform (NDFT), for the specific challenging problem of object detection in UAV images, achieving a substantial gain in robustness to those nuisances. We demonstrate the effectiveness of our proposed algorithm, by showing state-of-the-art performance (single model) on two existing UAV-based object detection benchmarks. The code is available at https://github.com/TAMU-VITA/UAV-NDFT.

연구 동기 및 목표

• UAV가 촬영한 이미지에 일반 객체 검출기 적용 시 고도, 시야각, 날씨 조건 변화 등 UAV 특유의 성향으로 인해 발생하는 성능 저하 문제를 해결하기 위해.
• GPS 고도, 기압, 날씨 데이터 등 자유롭게 이용 가능한 UAV 메타데이터를 약한 지도 신호로 활용하여 도메인 강건한 특징 학습을 수행하기 위해.
• 작업에 관련된 특징에서 성향 요소를 분리하는 깊이 있는 적대적 프레임워크를 개발하여 미세한 도메인 간 일반화 능력을 향상시키기 위해.
• 모델 앙상블이나 과도한 파rameter화 없이 기존 UAV 객체 검출 벤치마크에서 최신 기준 단일 모델 성능을 달성하기 위해.
• 학습된 특징의 전이 능력을 향상시켜, 예를 들어 UAVDT에서 VisDrone2018로의 전이 시도에서 성능 향상을 입증하기 위해.

제안 방법

• 제안된 Nuisance Disentangled Feature Transform (NDFT) 프레임워크는 성향 요소(고도, 시야각, 날씨)를 객체 검출 특징에서 분리하기 위해 적대적 훈련 기반 파라다임을 사용한다.
• NDFT는 특징 추출기가 검출에 관련된 특징을 유지하면서도 성향에 불변인 표현을 적대적으로 억제하도록 공동 최적화되는 다중 작업 학습 설정을 채택한다.
• 성향 분리의 세 가지 보조 손실(AD)을 도입하며, 도메인 구분자에 의해 성향 변수에 대한 불변성을 강제하는 적대적 훈련을 수행한다.
• 감지 손실과 적대적 성향 손실의 가중 조합을 통해 엔드 투 엔드로 훈련되며, 하이퍼파ram터 γi는 그리드 서치를 통해 분리와 감지 성능 간 균형을 맞추기 위해 조정된다.
• NDFT는 Faster R-CNN 및 DE-FPN 백본에 적용되어 아키텍처 변경 없이 다양한 UAV 비행 조건에서도 강건한 검출을 가능하게 한다.
• 전이 능력을 평가하기 위해 NDFT로 UAVDT에서 사전 훈련한 후 VisDrone2018에서 검출 헤드만 미세조정하여 특징 추출기를 유지한다.

실험 결과

연구 질문

• RQ1 자유롭게 이용 가능한 UAV 메타데이터를 활용하면 고도, 시야각, 날씨 변화로 인한 미세한 도메인 간 성능 저하 문제를 해결하는 데 도움이 되는가?
• RQ2 성향 요소를 적대적으로 분리하는 방식이 UAV 객체 검출에서 표준 보조 손실 훈련보다 더 나은 일반화 성능을 보이는가?
• RQ3 NDFT 특징은 최소한의 미세조정으로도 새로운 UAV 데이터셋(예: VisDrone2018)으로 효과적으로 전이 가능한가?
• RQ4 NDFT의 성능는 UAV 전용 벤치마크에서 최신 기준 단일 모델 검출기와 비교해 어떻게 되는가?
• RQ5 고도, 시야각, 날씨 등 다수의 성향을 분리하는 것이 단일 또는 이원 성향 분리보다 검출 정확도 향상에 얼마나 기여하는가?

주요 결과

• NDFT는 VisDrone2018 검증 세트에서 DE-FPN 기준선 대비 4.36 mAP 향상하여 최신 기준 단일 모델 성능을 달성했다.
• UAVDT 벤치마크에서 NDFT-Faster R-CNN는 총 59.56 mAP를 기록하여 기준선 Faster R-CNN(52.14 mAP) 및 보조 손실 기준선(53.64 mAP)을 크게 앞서며 성능을 뛰어넘었다.
• γi = 0.005일 때 NDFT-DE-FPN 모델은 VisDrone2018에서 52.77 mAP를 기록하여, 표준 보조 손실 대비 적대적 분리의 효과를 입증했다.
• UAVDT에서 VisDrone2018로의 크로스-데이터셋 전이 학습에서 NDFT-DE-FPN(r)은 차량 클래스에서 79.50 AP를 기록하여, 성향 분리가 이루어지지 않은 전이 기준선(75.27 AP) 대비 4.23 AP 향상을 기록했다.
• 그림 1의 시각적 비교 결과는 기준선에서 A+V+W 성향 분리까지 추가로 성향을 분리할수록 검출 정확도 향상이 일관되게 관찰됨을 보여준다.
• 표 6의 분석 연구 결과는 그리드 서치로 최적화된 보조 손실 훈련조차도 항상 적대적 분리(NDFT)에 뒤지며, NDFT의 우월성을 확인한다.