[논문 리뷰] Nazr-CNN: Object Detection and Fine-Grained Classification in Crowdsourced UAV Images.

Nazia Attari, Ferda Ofli외 3명|arXiv (Cornell University)|2016. 11. 20.

Disaster Management and Resilience인용 수 4

한 줄 요약

Nazr-CNN는 카이크론 후 바누아투의 드론 항공사진에서 객체 검출 및 미세한 손상 수준 분류를 위한 딥러닝 파이프라인이다. 이는 사전 훈련된 CNN을 사용해 픽셀 수준의 국소화를 수행하고, 분할된 영역의 피셔 벡터 인코딩을 통해 미세한 손상 수준을 구분한다. 이는 레이블링 노이즈가 있는 소규모 커뮤니티 기반 데이터셋에서도 뛰어난 성능을 달성한다.

ABSTRACT

We propose Nazr-CNN, a deep learning pipeline for object detection and fine-grained classification in images acquired from Unmanned Aerial Vehicles (UAVs). The UAVs were deployed in the Island of Vanuatu to assess damage in the aftermath of cyclone PAM in 2015. The images were labeled by a crowdsourcing effort and the labeling categories consisted of fine-grained levels of damage to built structures. Nazr-CNN consists of two components. The function of the first component is to localize objects (e.g. houses) in an image by carrying out a pixel-level classification. In the second component, a hidden layer of a Convolutional Neural Network (CNN) is used to encode Fisher Vectors (FV) of the segments generated from the first component in order to help discriminate between between different levels of damage. Since our data set is relatively small, a pre-trained network for pixel-level classification and FV encoding was used. Nazr-CNN attains promising results both for object detection and damage assessment suggesting that the integrated pipeline is robust in the face of small data sets and labeling errors by annotators. While the focus of Nazr-CNN is on assessment of UAV images in a post-disaster scenario, our solution is general and can be applied in many diverse settings.

연구 동기 및 목표

• 제한된, 노이즈가 있는, 소규모 레이블링 데이터를 가진 재난 후 드론 영상에서의 미세한 손상 평가 과제를 해결한다.
• 객체 검출과 다중 수준 손상 분류를 통합한 유일한 딥러닝 파이프라인을 개발한다.
• 사전 훈련된 모델과 피셔 벡터 인코딩을 활용해 소규모 데이터셋에서의 레이블 불일치 문제를 개선한다.
• 저비용 드론 배치를 활용해 실제 재난 상황에서의 안정적이고 확장 가능한 손상 평가를 가능하게 한다.

제안 방법

• 드론 영상 내 주택과 같은 객체를 국소화하기 위해 사전 훈련된 컨volutional 신경망(CNN)을 사용해 픽셀 수준의 분류를 수행한다.
• 첫 번째 구성 요소의 출력에서 영역을 추출하여 관심 영역에 집중한다.
• CNN의 은닉층에서 유도된 피셔 벡터(FV)를 사용해 이러한 영역의 특징을 인코딩하여 구분 가능한 패턴을 포착한다.
• FV 기반 표현을 훈련시켜 건물 내에서 미세한 손상 수준을 분류한다.
• 데이터 부족 문제를 완화하기 위해 픽셀 수준의 분류 및 FV 인코딩을 사전 훈련된 모델로 초기화함으로써 전이 학습을 활용한다.
• 검출 및 분류를 동시에 최적화할 수 있도록 두 구성 요소를 종단 간 파이프라인으로 통합한다.

실험 결과

연구 질문

• RQ1 제한된 레이블링 데이터를 가진 재난 후 드론 영상에서 딥러닝 파이프라인이 객체 검출 및 미세한 손상 수준 분류에 효과적으로 작용할 수 있는가?
• RQ2 소규모 데이터셋에서 CNN 특징의 피셔 벡터 인코딩이 미세한 손상 수준 간의 구분 능력을 어떻게 향상시키는가?
• RQ3 사전 훈련된 모델에서의 전이 학습이 레이블링 노이즈가 있는 소규모 커뮤니티 기반 드론 영상 데이터셋에서 성능을 얼마나 향상시키는가?
• RQ4 제안된 파이프라인이 비전문가가 수행한 비일관성 있거나 노이즈가 있는 레이블링을 가진 상황에서도 안정성을 유지할 수 있는가?

주요 결과

• 소규모 데이터셋임에도 불구하고 Nazr-CNN는 드론 영상에서 객체 검출 성능이 뛰어나다.
• CNN 특징에 피셔 벡터 인코딩을 통합함으로써 미세한 손상 수준 분류 정확도가 크게 향상된다.
• 픽셀 수준의 분류 및 FV 인코딩에 모두 사전 훈련된 모델을 사용함으로써 모델의 일반화 능력 향상과 과적합 방지가 가능해진다.
• 비전문가가 수행한 커뮤니티 기반 레이블링 과정에서 발생하는 레이블 오류에 대해서도 파이프라인이 뛰어난 안정성을 보였다.
• 전반적인 아키텍처는 실제 재난 후 평가 상황에서 효과적이며, 유사한 자원이 제한된 환경에서의 배포 가능성에 희망을 보인다.