[논문 리뷰] Orientation Aware Object Detection with Application to Firearms

Javed Iqbal, Muhammad Akhtar Munir외 3명|arXiv (Cornell University)|2019. 01. 01.

Advanced Neural Network Applications참고 문헌 39인용 수 10

한 줄 요약

이 논문은 두 단계 과정을 통해 물체 방향을 예측하여 총기 탐지 성능을 햖थ한 방향 인식 물체 검출기(OAOD)를 제안한다: 먼저 방향을 추정하여 제안 영역을 회전시키고, 그 다음에 방향이 조정된 영역에서 분류 및 국소화를 수행한다. 이 방법은 기울인 경계 상자(oriented bounding boxes)를 사용하여 우수한 국소화 성능을 달성하며, 수천 장의 이미지가 포함된 새로 수집된 ITU 총기(ITUF) 데이터셋에서 최신 기술 대비 뛰어난 성능을 보였다.

ABSTRACT

Automatic detection of firearms is important for enhancing security and safety of people, however, it is a challenging task owing to the wide variations in shape, size and appearance of firearms. To handle these challenges we propose an Orientation Aware Object Detector (OAOD) which has achieved improved firearm detection and localization performance. The proposed detector has two phases. In the Phase-1 it predicts orientation of the object which is used to rotate the object proposal. Maximum area rectangles are cropped from the rotated object proposals which are again classified and localized in the Phase-2 of the algorithm. The oriented object proposals are mapped back to the original coordinates resulting in oriented bounding boxes which localize the weapons much better than the axis aligned bounding boxes. Being orientation aware, our non-maximum suppression is able to avoid multiple detection of the same object and it can better resolve objects which lie in close proximity to each other. This two phase system leverages OAOD to predict object oriented bounding boxes while being trained only on the axis aligned boxes in the ground-truth. In order to train object detectors for firearm detection, a dataset consisting of around eleven thousand firearm images is collected from the internet and manually annotated. The proposed ITU Firearm (ITUF) dataset contains wide range of guns and rifles. The OAOD algorithm is evaluated on the ITUF dataset and compared with current state of the art object detectors. Our experiments demonstrate the excellent performance of the proposed detector for the task of firearm detection.

연구 동기 및 목표

• 총기의 형태, 크기, 외관에 있어 높은 변동성으로 인한 탐지 과제를 해결하기 위해.
• 축에 따라 정렬된 경계 상자 이외의 국소화 성능을 향상시키기 위해 물체 방향 인식을 통합하기 위해.
• 축에 따라 정렬된 참조값(annotation)으로 훈련되지만 기울인 경계 상자를 예측할 수 있는 검출기를 개발하기 위해.
• 근접하게 배치된 총기를 둘 이상 감지하는 오류를 줄이기 위해 방향 인식 비최대 억제(NMS)를 적용하기 위해.
• 기준 모델 성능을 평가하기 위해 대규모이고 다양한 총기 데이터셋(ITUF)을 구축하고 공개하기 위해.

제안 방법

• OAOD 프레임워크는 두 단계 접근법을 사용한다: 단계-1에서는 영역 제안 네트워크를 통해 물체 제안의 방향을 예측한다.
• 예측된 방향에 따라 물체 제안 영역을 회전시켜 실제 물체의 방향에 맞추어 진다.
• 최대 면적의 직사각형 영역을 회전된 제안 영역에서 잘라내어 가장 관련 있는 특징을 유지한다.
• 단계-2에서는 분류기 헤드를 사용해 회전된 영역의 분류 및 국소화를 정밀화한다.
• 예측된 기울인 경계 상자는 원본 이미지 좌표계로 매핑되어 최종 탐지 결과를 출력한다.
• 비최대 억제를 방향 인식에 맞게 수정하여 동일한 총기를 중복 탐지하는 것을 줄인다.

실험 결과

연구 질문

• RQ1 축에 따라 정렬된 기준 대비 물체 방향을 통합한 이중 단계 물체 검출 프레임워크가 총기 탐지 정확도를 향상시키는가?
• RQ2 방향 인식 비최대 억제가 겹치거나 가까이 배치된 총기를 해결하는 데 얼마나 효과적인가?
• RQ3 축에 따라 정렬된 참조값으로 훈련된 검출기가 정확한 기울인 경계 상자를 예측하는 데 얼마나 일반화되는가?
• RQ4 다양하고 실제 세계적인 시각적 변동성이 큰 총기 데이터셋에서 제안된 방법의 성능은 어떠한가?
• RQ5 기울인 영역 제안이 총기 탐지의 국소화 정밀도와 재현율에 어떤 영향을 미치는가?

주요 결과

• OAOD 모델은 ITUF 데이터셋에서 최신 기술 수준의 성능을 달성하여, 기존 검출기들보다 총기 국소화 성능에서 뚜렷한 우월성을 보였다.
• 방향 인식 제안 영역과 기울인 경계 상자를 사용함으로써 축에 따라 정렬된 경계 상자보다 더 정확한 국소화가 가능했다.
• 두 단계 설계 덕분에 축에 따라 정렬된 참조값에서 학습하면서도 기울인 출력을 예측할 수 있어 일반화 성능이 향상되었다.
• 방향 인식 비최대 억제가 동일한 총기를 다중 탐지하는 문제를 효과적으로 줄였으며, 특히 혼잡한 장면에서 유의미한 효과를 보였다.
• 약 11,000장의 수동으로 주석 처리된 총기 이미지가 포함된 ITUF 데이터셋은 총기 탐지 연구를 위한 강력한 기준 평가 기준을 제공한다.