[논문 리뷰] Occluded Prohibited Items Detection: an X-ray Security Inspection Benchmark and De-occlusion Attention Module

Yanlu Wei, Renshuai Tao외 4명|arXiv (Cornell University)|2020. 04. 18.

Advanced Neural Network Applications참고 문헌 40인용 수 13

한 줄 요약

이 논문은 X선 보안 영상에서 가림된 금지 품목 탐지를 위한 최초의 고품질 벤치마크인 OPIXray를 소개하며, 다양한 가림 수준을 가진 커파를 중심으로 다룹니다. 또한, 다중 척도적 외관 특징을 활용하여 특징 표현을 향상시키는 플러그 앤 플레이형 주의 메커니즘인 De-occlusion Attention Module (DOAM)을 제안합니다. 이는 SSD, YOLOv3, FCOS와 같은 여러 최신 객체 탐지기에서 성능을 크게 향상시키며, 특히 높은 가림 수준에서 두각을 나타냅니다.

ABSTRACT

Security inspection often deals with a piece of baggage or suitcase where objects are heavily overlapped with each other, resulting in an unsatisfactory performance for prohibited items detection in X-ray images. In the literature, there have been rare studies and datasets touching this important topic. In this work, we contribute the first high-quality object detection dataset for security inspection, named Occluded Prohibited Items X-ray (OPIXray) image benchmark. OPIXray focused on the widely-occurred prohibited item "cutter", annotated manually by professional inspectors from the international airport. The test set is further divided into three occlusion levels to better understand the performance of detectors. Furthermore, to deal with the occlusion in X-ray images detection, we propose the De-occlusion Attention Module (DOAM), a plug-and-play module that can be easily inserted into and thus promote most popular detectors. Despite the heavy occlusion in X-ray imaging, shape appearance of objects can be preserved well, and meanwhile different materials visually appear with different colors and textures. Motivated by these observations, our DOAM simultaneously leverages the different appearance information of the prohibited item to generate the attention map, which helps refine feature maps for the general detectors. We comprehensively evaluate our module on the OPIXray dataset, and demonstrate that our module can consistently improve the performance of the state-of-the-art detection methods such as SSD, FCOS, etc, and significantly outperforms several widely-used attention mechanisms. In particular, the advantages of DOAM are more significant in the scenarios with higher levels of occlusion, which demonstrates its potential application in real-world inspections. The OPIXray benchmark and our model are released at https://github.com/OPIXray-author/OPIXray.

연구 동기 및 목표

• X선 보안 검사에서 가림된 금지 품목 탐지를 위한 전용 데이터셋의 부족을 해결한다.
• 다양한 가림 수준을 시뮬레이션하는 현실적인 벤치마크를 개발한다.
• 높은 가림 상황에서 성능을 향상시키기 위한 플러그 앤 플레이형 주의 모듈(DOAM)을 제안한다.
• DOAM의 효과성을 다양한 객체 탐지기에서 입증하고 기존 주의 메커니즘보다 뛰어난 성능을 보임을 보여준다.
• 실제 보안 검사 시스템에 적용 가능한 강력한 탐지 모델의 실용적 구현을 가능하게 한다.

제안 방법

• 전문 공항 검사원이 라벨링한 5종의 커파 카테고리로 구성된 총 8,885장의 X선 영상으로 OPIXray 벤치마크를 구축한다.
• 다양한 재질의 외관 특징에서 형태, 질감, 색상 정보를 동시에 활용하는 De-occlusion Attention Module (DOAM)을 설계한다.
• 기존 객체 탐지기(예: SSD, FCOS, YOLOv3)에 경량이며 엔드 투 엔드로 훈련 가능한 모듈로 DOAM을 통합한다.
• 가림 영역에서 윤곽선과 영역 수준의 정보를 강조하는 다중 척도 특징 융합 전략을 사용해 DOAM을 훈련한다.
• 부분적으로 가려진 금지 품목의 주요 특징을 동적으로 강조하기 위해 학습 가능한 주의 맵을 최적화한다.
• 탐지 헤드 이전에 특징 맵을 개선하기 위해 DOAM을 적용함으로써, 가림 상황에서의 국소화 및 분류 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 X선 보안 영상에서 다양한 수준의 가림 상황에서 최신 객체 탐지기의 성능은 어떻게 저하되는가?
• RQ2 아키텍처의 대대적인 수정 없이도 플러그 앤 플레이형 주의 모듈이 가려진 금지 품목의 탐지 정확도를 효과적으로 향상시킬 수 있는가?
• RQ3 DOAM 메커니즘이 X선 영상에서의 클래스 간 가림 상황을 다룰 때 기존 주의 모듈보다 뛰어난 성능을 보이는가?
• RQ4 DOAM의 성능 향상은 다양한 가림 수준과 객체 카테고리에서 어떻게 달라지는가?
• RQ5 OPIXray 벤치마크에서 다양한 객체 탐지 프레임워크(예: SSD, FCOS, YOLOv3) 간에 DOAM의 일반화 능력은 어느 정도인가?

주요 결과

• OPIXray 벤치마크는 전문 검사원이 라벨링한 총 8,885장의 X선 영상과 5종의 커파 카테고리로 구성되며, 점차 증가하는 가림 수준을 가진 세 개의 테스트 세트를 포함한다.
• DOAM는 SSD 기반에서 mAP를 3.12% 향상시키며, YOLOv3에서는 1.04%, FCOS에서는 0.39% 향상시켜 다양한 탐지기에서 일관된 성능 향상을 입증한다.
• DOAM의 성능 향상은 높은 가림 상황에서 가장 두드러지며, SSD 기반에서 SC(가위)의 경우 41.50%, UT(유용도 날개)의 경우 95.12%의 mAP 향상이 이루어졌다.
• 주의 시각화 결과 DOAM가 부분적으로 가려진 물체의 경계와 주요 영역을 효과적으로 강조하는 것으로 확인되었다.
• DOAM는 덜 가려진 카테고리(예: 접는 칼, 가위)에서는 성능이 약간 저하되는 경향이 있었으며, 이는 높이 가려진 영역에 과도하게 집중된 탓으로 보인다.
• DOAM 모듈은 플러그 앤 플레이 구성 요소로서 백본 또는 탐지 헤드 아키텍처를 수정하지 않고도 특징 표현을 향상시키는 데 효과적이다.