[논문 리뷰] The Good, the Bad and the Ugly: Evaluating Convolutional Neural Networks for Prohibited Item Detection Using Real and Synthetically Composited X-ray Imagery

Neelanjan Bhowmik, Qian Wang외 3명|arXiv (Cornell University)|2019. 09. 09.

Advanced X-ray and CT Imaging인용 수 13

한 줄 요약

이 연구는 실제 및 합성 복합 데이터를 사용하여 X선 보안 영상에서 총기, 총기 부품 및 날카운 나이프를 감지하기 위해 ResNet-101을 백본으로 사용하는 Faster R-CNN을 평가한다. 실제 데이터에서 mAP 0.88, 합성 데이터에서 mAP 0.78를 기록하여 합성 영상이 성능 격차가 있음에도 불구하고 훈련 데이터의 다양성을 높이기 위한 타당한 대안이 될 수 있음을 보여준다.

ABSTRACT

Detecting prohibited items in X-ray security imagery is pivotal in maintaining border and transport security against a wide range of threat profiles. Convolutional Neural Networks (CNN) with the support of a significant volume of data have brought advancement in such automated prohibited object detection and classification. However, collating such large volumes of X-ray security imagery remains a significant challenge. This work opens up the possibility of using synthetically composed imagery, avoiding the need to collate such large volumes of hand-annotated real-world imagery. Here we investigate the difference in detection performance achieved using real and synthetic X-ray training imagery for CNN architecture detecting three exemplar prohibited items, {Firearm, Firearm Parts, Knives}, within cluttered and complex X-ray security baggage imagery. We achieve 0.88 of mean average precision (mAP) with a Faster R-CNN and ResNet-101 CNN architecture for this 3-class object detection using real X-ray imagery. While the performance is comparable with synthetically composited X-ray imagery (0.78 mAP), our extended evaluation demonstrates both challenge and promise of using synthetically composed images to diversify the X-ray security training imagery for automated detection algorithm training.

연구 동기 및 목표

• 합성 복합 X선 영상에 기반한 금지 품목 감지에 대한 합성 신경망의 성능 평가.
• 총기, 총기 부품, 날카운 나이프의 세 가지 핵심 위협 유형에 대해 실제 및 합성 X선 훈련 데이터 간의 감지 정확도 비교.
• 대규모 수기 애너테이션을 필요로 하는 실제 X선 영상의 의존도를 줄이기 위해 합성 영상을 사용할 수 있는지의 가능성 탐색.
• 자동화된 감지 모델의 다양성과 강건성 향상에 있어 합성 데이터의 도전 과제와 잠재력 평가.

제안 방법

• 혼잡한 수화물 장면을 포함한 실제 X선 보안 영상에서 Faster R-CNN 모델을 ResNet-101 백본으로 훈련.
• 실제 수화물 스캔에 금지 품목(총기, 부품, 날카운 나이프)을 디지털로 삽입하여 합성 복합 X선 영상 생성.
• 합성 샘플의 다양성을 높이고 일반화 가능성을 향상시키기 위해 데이터 증강 기법 적용.
• 동일한 평가 프로토콜 하에 세 개의 객체 클래스에서 평균 평균 정밀도(mAP)를 사용해 모델 성능 평가.
• 실제 및 합성 훈련 세트에서 성능을 최적화하기 위해 전이 학습 및 미세조정 전략 적용.

실험 결과

연구 질문

• RQ1 실제 및 합성 복합 X선 영상 간 금지 품목 감지 성능은 어떻게 비교되는가?
• RQ2 복잡하고 혼잡한 수화물 장면에서 합성 X선 데이터가 실제 데이터 수준의 감지 정확도를 얼마나 유지할 수 있는가?
• RQ3 X선 보안 응용 분야에서 합성 데이터를 사용해 CNN을 훈련시킬 때의 주요 과제는 무엇인가?
• RQ4 합성 데이터가 자동 금지 품목 감지에서 훈련 데이터의 다양성을 효과적으로 증가시키고 모델 일반화를 향상시킬 수 있는가?

주요 결과

• 실제 X선 영상에서 훈련 및 평가한 모델은 평균 평균 정밀도(mAP) 0.88을 기록했다.
• 합성 복합 X선 영상에서 훈련한 모델은 mAP 0.78를 기록하여 뚜렷한 성능 격차가 있음에도 불구하고 수용 가능한 성능을 보였다.
• 합성 영상가 훈련 데이터의 다양성을 높이고 실제 세계 영상의 수기 애너테이션에 대한 의존도를 줄이는 데 잠재력을 보였다.
• 성능 격차는 합성 데이터가 실제 X선 스캔의 현실성과 특징 충실도를 따라잡기 위해 추가로 개선이 필요함을 시사한다.
• 확장된 평가를 통해 합성 데이터가 자동 감지 시스템의 훈련 데이터 다양성 향상에 있어 도전 과제와 잠재력을 동시에 확인했다.