[논문 리뷰] Over-sampling De-occlusion Attention Network for Prohibited Items Detection in Noisy X-ray Images

Renshuai Tao, Yanlu Wei외 5명|arXiv (Cornell University)|2021. 03. 01.

Advanced Neural Network Applications참고 문헌 43인용 수 15

한 줄 요약

이 논문은 공항 보안 검사에서 흔한 노이즈가 많고 심하게 가림을 입은 X선 영상에서 금지된 물품을 탐지하기 위해 새로운 오버샘플링 탈가림 주의 네트워크인 DOAM-O를 제안한다. 가장 최근에 소개된 OPIXray 데이터셋에서, 경계 및 물질 인식 특징을 활용하는 탈가림 주의 모듈(DOAM)과 하드 가림 샘플을 대상으로 한 오버샘플링 전략을 통합함으로써, 기존의 최고 성능을 기록한 검출기들인 SSD, YOLOv3, FCOS를 뛰어넘는 성능 향상을 이룬다.

ABSTRACT

Security inspection is X-ray scanning for personal belongings in suitcases, which is significantly important for the public security but highly time-consuming for human inspectors. Fortunately, deep learning has greatly promoted the development of computer vision, offering a possible way of automatic security inspection. However, items within a luggage are randomly overlapped resulting in noisy X-ray images with heavy occlusions. Thus, traditional CNN-based models trained through common image recognition datasets fail to achieve satisfactory performance in this scenario. To address these problems, we contribute the first high-quality prohibited X-ray object detection dataset named OPIXray, which contains 8885 X-ray images from 5 categories of the widely-occurred prohibited item ``cutters''. The images are gathered from an airport and these prohibited items are annotated manually by professional inspectors, which can be used as a benchmark for model training and further facilitate future research. To better improve occluded X-ray object detection, we further propose an over-sampling de-occlusion attention network (DOAM-O), which consists of a novel de-occlusion attention module and a new over-sampling training strategy. Specifically, our de-occlusion module, namely DOAM, simultaneously leverages the different appearance information of the prohibited items; the over-sampling training strategy forces the model to put more emphasis on these hard samples consisting these items of high occlusion levels, which is more suitable for this scenario. We comprehensively evaluated DOAM-O on the OPIXray dataset, which proves that our model can stably improve the performance of the famous detection models such as SSD, YOLOv3, and FCOS, and outperform many extensively-used attention mechanisms.

연구 동기 및 목표

• 공항 보안 검사에서 흔한 노이즈가 많고 심하게 가려진 X선 영상에서 금지된 물품을 탐지하는 문제를 해결하기 위해.
• 기존 표준 데이터셋으로 훈련된 전통적인 CNN 기반 모델이 높은 가림 조건에서 실패하는 한계를 극복하기 위해.
• 보안 검사에서 가려진 금지된 물품 탐지에 적합한 고품질이고 현실적인 벤치마크 데이터셋을 구축하기 위해.
• 주의 메커니즘과 하드 샘플 재훈련을 통해 가려진 물체의 특징 표현을 향상시키는 새로운 딥러닝 모델을 개발하기 위해.
• 저품질의 실제 영상 환경에서의 가림에 강건한 물체 탐지의 새로운 패러다임을 수립하기 위해.

제안 방법

• 입력 특징에서 경계 및 영역 정보를 융합하여 특징 맵을 정밀하게 다듬는 플러그 앤 플레이 탈가림 주의 모듈(DOAM)을 제안한다.
• 경계 특징을 강조하기 위해 손실 함수를 최적화하는 엣지 가이던스(EG) 모듈을 도입하여 객체 경계에서의 주의를 향상시킨다.
• 풀링 크기에 따라 적응적으로 영역 특징을 선택하는 게이트드 컨볼루션 네트워크를 사용하여 물질 특성에 맞는 표현을 강화하는 물질 인식(MA) 모듈을 구현한다.
• 특히 높은 가림 수준을 가진 하드 샘플을 재훈련하기 위한 오버샘플링 훈련 전략을 적용하여 모델의 일반화 능력을 향상시킨다.
• Grad-CAM 및 주의 맵 시각화를 통해 주의 메커니즘이 목표 물체를 어떻게 효과적으로 강조하는지 해석하고 검증한다.
• 항공역 전문 검사원이 수작업으로 라벨링한 5종의 커터 카테고리에 대한 실제 X선 영상 8,885장을 포함한 OPIXray 데이터셋을 구축하였다.

실험 결과

연구 질문

• RQ1 심한 가림과 노이즈가 있는 X선 영상에서 금지된 물품을 탐지하기 위해 딥러닝 모델을 어떻게 개선할 수 있는가?
• RQ2 경계 및 물질 인식 특징은 가려진 물체 탐지에서 특징 표현을 향상시키는 데 어떤 역할을 하는가?
• RQ3 높은 가림 수준을 가진 하드 샘플의 오버샘플링이 저품질 X선 영상에서의 탐지 성능 향상에 기여하는가?
• RQ4 기존의 주의 메커니즘과 비교할 때 제안된 DOAM 모듈은 특징 정밀화 및 국소화 정확도 측면에서 어떻게 성능을 냅니다?
• RQ5 OPIXray 데이터셋은 가려진 금지된 물품 탐지 모델 평가를 위한 신뢰할 수 있는 벤치마크로 얼마나 잘 기능하는가?

주요 결과

• DOAM-O 모델은 SSD, YOLOv3, FCOS와 같은 기존 모델을 전반적인 모든 지표에서 뛰어넘으며 성능을 향상시켰고, MA 모듈 내에서 게이트드 컨볼루션 네트워크를 사용할 경우 최대 0.9%의 향상률을 기록하였다.
• 간단한 경계 및 입력 특징의 연결 방식에 비해 엣지 가이던스(EG) 모듈이 0.43% 향상시켜, 구조적 세부 정보 강조의 효과를 입증하였다.
• EG 모듈에 비해 물질 인식(MA) 모듈이 추가로 0.37% 성능 향상을 이끌어내어, 물질 특성에 맞는 특징 집합이 탐지 정확도를 향상시킨다는 점을 확인하였다.
• Grad-CAM 시각화 결과, DOAM이 통합된 네트워크는 기준 VGG16 네트워크보다 목표 물체에 더 집중적이고 완전한 주의 마스크를 생성하는 것으로 나타났다.
• 주의 맵 시각화 결과, DOAM이 특히 가려진 커터에 대해 객체 경계와 영역을 정확하게 강조함으로써 탈가림 능력이 검증되었다.
• 5종의 커터 카테고리에 대한 실제 X선 영상 8,885장을 포함한 OPIXray 데이터셋은 향후 가려진 금지된 물품 탐지 연구를 위한 고품질의 벤치마크를 제공한다.