[논문 리뷰] Cascaded Structure Tensor Framework for Robust Identification of Heavily Occluded Baggage Items from Multi-Vendor X-ray Scans

Taimur Hassan, Salman H. Khan외 3명|arXiv (Cornell University)|2019. 12. 09.

Advanced Neural Network Applications참고 문헌 39인용 수 9

한 줄 요약

이 논문은 단일 피드포워드 컨volution 신경망을 사용하여 다수의 벤더에서 나온 X선 스캔에서 심하게 가림되거나 혼잡한 수하물 품목을 강력하게 검출하고 인식할 수 있는 계단식 구조 텐서 프레임워크를 제안한다. 여러 방향으로 순차적으로 윤곽 기반 전이 특징을 추출함으로써, GDXray에서 mAP 0.9343, SIXray에서 mAP 0.9595의 최신 기술 수준 성능을 달성하며, 이는 이전 방법들보다 유의하게 뛰어나고 추론 시간을 15.78% 감소시킨다.

ABSTRACT

In the last two decades, luggage scanning has globally become one of the prime aviation security concerns. Manual screening of the baggage items is a cumbersome, subjective and inefficient process. Hence, many researchers have developed Xray imagery-based autonomous systems to address these shortcomings. However, to the best of our knowledge, there is no framework, up to now, that can recognize heavily occluded and cluttered baggage items from multi-vendor X-ray scans. This paper presents a cascaded structure tensor framework which can automatically extract and recognize suspicious items irrespective of their position and orientation in the multi-vendor X-ray scans. The proposed framework is unique, as it intelligently extracts each object by iteratively picking contour based transitional information from different orientations and uses only a single feedforward convolutional neural network for the recognition. The proposed framework has been rigorously tested on publicly available GDXray and SIXray datasets containing a total of 1,067,381 X-ray scans where it significantly outperformed the state-of-the-art solutions by achieving the mean average precision score of 0.9343 and 0.9595 for extracting and recognizing suspicious items from GDXray and SIXray scans, respectively. Furthermore, the proposed framework has achieved 15.78% better time

연구 동기 및 목표

• 항공기 보안 분야에서 여전히 중요한 격차로 남아 있는, 다수의 벤더에서 나온 X선 스캔에서 심하게 가림되거나 혼잡한 수하물 품목을 식별하는 문제를 해결하기 위해.
• 다양한 X선 스캐너에서 위치, 방향, 가림 정도에 관계없이 위험한 품목을 인식할 수 있는 통합 프레임워크를 개발하기 위해.
• 수동 검사에 의존하는 것을 줄이고, 딥러닝을 활용한 자동화되고 강력하며 효율적인 검출을 가능하게 하기 위해.
• 특징 추출 및 인식에 단일 피드포워드 CNN를 사용하여 최소한의 계산 부담으로도 높은 성능을 달성하기 위해.

제안 방법

• 프레임워크는 X선 스캔에서 방향별로 특화된 윤곽 기반 전이 정보를 추출하는 계단식 구조 텐서 접근법을 사용한다.
• 다양한 방향으로 이미지 특징을 순차적으로 분석함으로써, 가림과 혼잡 조건에서도 검출의 강건성을 향상시킨다.
• 강화된 특징 맵에서 위험한 품목을 추출하고 분류하기 위해 단일 피드포워드 컨volution 신경망을 사용한다.
• 구조 텐서는 계단식으로 적용되어 점진적으로 물체 경계를 정밀하게 다듬고 정위치 정확도를 향상시킨다.
• GDXray와 SIXray 데이터셋에서 학습 및 평가되었으며, 이는 여러 벤더에서 나온 100만 건 이상의 X선 스캔을 포함한다.
• 엔드 투 엔드 학습을 통해 특징 학습을 최적화하여, 네트워크가 다양한 스캐너 출력 간의 일반화 능력을 갖출 수 있도록 한다.

실험 결과

연구 질문

• RQ1 통합 딥러닝 프레임워크는 다양한 X선 스캐너 벤더에서 심하게 가림된 수하물 품목을 강력하게 검출할 수 있는가?
• RQ2 계단식 구조 텐서 접근법은 높은 가림과 혼잡 조건에서 검출 성능을 향상시키는 데 얼마나 효과적인가?
• RQ3 단일 피드포워드 CNN를 사용할 경우 정확도를 유지하면서 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 기준 데이터셋에서 최신 기술 수준의 방법들과 비교할 때, 제안된 방법은 평균 평균 정밀도 측면에서 어떻게 성과를 내는가?

주요 결과

• 프레임워크는 GDXray 데이터셋에서 mAP 0.9343을 달성하여 기존 최신 기술 수준의 방법들을 뛰어넘었다.
• SIXray 데이터셋에서는 mAP 0.9595를 기록하여 다양한 X선 스캔 특성에 걸쳐 뛰어난 일반화 능력을 입증했다.
• 이전 솔루션 대비 추론 시간을 15.78% 감소시켜 계산 효율성 향상을 입증했다.
• 계단식 구조 텐서 접근법은 특히 가림 영역에서 다중 방향 윤곽 전이 정보를 캡처함으로써 검출 성능을 효과적으로 향상시켰다.
• 특징 추출 및 인식에 단일 피드포워드 CNN를 사용한 것이 모델의 효율성과 강건성에 기여했다.