[논문 리뷰] Toward Automatic Threat Recognition for Airport X-ray Baggage Screening with Deep Convolutional Object Detection

Kevin J Liang, John B. Sigman외 6명|arXiv (Cornell University)|2019. 12. 13.

Advanced Neural Network Applications인용 수 31

한 줄 요약

이 논문은 새로운 수집된 X선 스캔 데이터셋을 사용하여 빠른 R-CNN과 ResNet152를 활용한 딥러닝 기반 자동 위협 탐지 시스템을 제안한다. 이 시스템은 Rapiscan 620DV 스캐너에서 실시간 추론을 구현하며, 다중 시각 분석과 강력한 객체 검출을 통해 총기, 날카로운 날, 둔기류 무기, 액체, 스프레이, 젤류를 높은 정확도로 탐지한다.

ABSTRACT

For the safety of the traveling public, the Transportation Security Administration (TSA) operates security checkpoints at airports in the United States, seeking to keep dangerous items off airplanes. At these checkpoints, the TSA employs a fleet of X-ray scanners, such as the Rapiscan 620DV, so Transportation Security Officers (TSOs) can inspect the contents of carry-on possessions. However, identifying and locating all potential threats can be a challenging task. As a result, the TSA has taken a recent interest in deep learning-based automated detection algorithms that can assist TSOs. In a collaboration funded by the TSA, we collected a sizable new dataset of X-ray scans with a diverse set of threats in a wide array of contexts, trained several deep convolutional object detection models, and integrated such models into the Rapiscan 620DV, resulting in functional prototypes capable of operating in real time. We show performance of our models on held-out evaluation sets, analyze several design parameters, and demonstrate the potential of such systems for automated detection of threats that can be found in airports.

연구 동기 및 목표

• 시각적 혼잡함과 운영자 피로로 인해 시간이 오래 걸리고 실수가 발생하기 쉬운 공항 X선 수화물 검사에서 수동 위협 탐지의 과제를 해결한다.
• 운영자 피로와 시각적 혼잡함을 고려하여 총기, 날카로운 날, 둔기류 무기, 액체, 스프레이, 젤류와 같은 금지 품목을 보다 효과적으로 식별할 수 있도록 자동화된 실시간 객체 검출 시스템을 개발한다.
• 딥러닝 모델을 훈련하기 위해 실제 배낭 구성에서 다양한 위협을 포함한 대규모이고 다양한 X선 스캔 데이터셋을 수집하고 애너테이션한다.
• 훈련된 객체 검출 모델을 Rapiscan 620DV 스캐너 프로토타입에 통합하여 실제 환경에 가까운 환경에서 실시간 테스트 및 평가를 수행한다.
• 다양한 아키텍처와 구성에서 모델 성능을 평가하며, 정확도, 추론 속도, 시각 다양성에 대한 강건성에 중점을 둔다.

제안 방법

• Rapiscan 620DV 스캐너를 사용하여 총기, 날카로운 날, 둔기류 무기, 액체, 스프레이, 젤류와 같은 숨겨진 위협을 포함한 가방의 이중 수직 시각을 촬영하여 대규모 X선 스캔 데이터셋을 수집한다.
• 총기, 날카로운 날, 둔기류 무기, 액체, 스프레이, 젤류(LAGs)의 4개 위협 유형에 대해 타이트한 바운딩 박스와 클래스 레이블을 애너테이션한다.
• 전처리된 RGB 색상 X선 이미지를 사용하여 빠른 R-CNN, SSD, RetinaNet 등 다양한 딥 컨볼루션 객체 검출 모델을 훈련 및 평가한다.
• 상단 및 측면 시각에서의 검출을 독립적인 입력으로 간주하여 다중 시각 분석을 적용하며, 진정한 양성 결과는 모든 시각에서 검출되어야만 정확하게 간주된다.
• 실시간 추론을 위해 상용 하드웨어에서 최적화를 수행하였으며, 이 응용 분야에서 프레임 레이트가 제한 요소가 아니므로 정확도를 우선시하였다.
• 진짜 양성 결과를 판단하기 위해 교차율(Intersection over Union, IoU) 임계값을 0.5로 설정하였으며, 주요 평가 지표로 평균 정밀도(mAP)를 사용하였다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 객체 검출 모델은 혼잡한 X선 수화물 스캔 내 다양한 위협 유형을 높은 정확도로 식별할 수 있는가?
• RQ2 상단 및 측면 X선 시각을 모두 활용한 다중 시각 분석은 단일 시각 검출에 비해 성능을 얼마나 향상시키는가?
• RQ3 빠른 R-CNN, SSD, 또는 RetinaNet 중에서 공항 보안 검사에 가장 적합한 정확도와 실시간 성능의 균형을 이루는 객체 검출 아키텍처는 무엇인가?
• RQ4 모델 하이퍼파라미터와 데이터 증강 전략은 실제 X선 수화물 데이터에서 검출 성능에 얼마나 큰 영향을 미치는가?
• RQ5 훈련된 객체 검출 모델은 Rapiscan 620DV와 같은 기존 공항 X선 스캐너에 성공적으로 통합되어 실시간 운영 환경에서 사용될 수 있는가?

주요 결과

• 빠른 R-CNN에 ResNet152 특징 추출기를 사용한 모델이 검증 세트에서 가장 높은 평균 정밀도(mAP)를 기록하여 SSD 및 RetinaNet을 능가하는 정확도를 확보하였다.
• 다중 시각 분석은 위협이 한 시각에서는 더 명확하게 드러나는 경우가 많기 때문에 거짓 음성 결과를 줄이며 검출 성능을 크게 향상시켰다.
• SSD 및 RetinaNet과 같은 단일 단계 검출기는 빠른 추론 속도에도 불구하고 보안 검사에 충분한 정확도를 확보하지 못해 부적합한 것으로 나타났다.
• 시스템은 상용 하드웨어에서 실시간 추론을 성공적으로 수행하여 기존 Rapiscan 620DV 스캐너에 구현 가능한 가능성을 입증하였다.
• 부분적인 위협(예: 고립된 망치 헤드)에 대해 거짓 양성이 빈번히 발생하여 일부 위협 유형의 완전한 물체 경계 학습에 어려움이 있음을 시사하였다.
• 컴퓨터로 가리켜진 기계식 권총과 같은 복잡한 위협도 성공적으로 탐지하여, 가림과 혼잡함에 대한 강건성을 입증하였다.