[논문 리뷰] Multi-Class 3D Object Detection Within Volumetric 3D Computed Tomography Baggage Security Screening Imagery

Qian Wang, Neelanjan Bhowmik외 1명|arXiv (Cornell University)|2020. 08. 03.

Advanced X-ray and CT Imaging참고 문헌 36인용 수 4

한 줄 요약

이 논문은 체적 CT 수하물 검사 영상에서 다중 클래스 3D 객체 검출을 위한 통합된 3D RetinaNet 프레임워크를 제안하며, 데이터 증강 및 백본 네트워크 변형을 활용하여 데이터 부족과 잡음 유사성의 과제에도 불구하고 5개의 금지된 물체 클래스—병, 권총, 망원경, 글록 프레임, 아이팟—에 대해 평균 정밀도(mAP) 65.3%를 달성한다.

ABSTRACT

Automatic detection of prohibited objects within passenger baggage is important for aviation security. X-ray Computed Tomography (CT) based 3D imaging is widely used in airports for aviation security screening whilst prior work on automatic prohibited item detection focus primarily on 2D X-ray imagery. These works have proven the possibility of extending deep convolutional neural networks (CNN) based automatic prohibited item detection from 2D X-ray imagery to volumetric 3D CT baggage security screening imagery. However, previous work on 3D object detection in baggage security screening imagery focused on the detection of one specific type of objects (e.g., either {\it bottles} or {\it handguns}). As a result, multiple models are needed if more than one type of prohibited item is required to be detected in practice. In this paper, we consider the detection of multiple object categories of interest using one unified framework. To this end, we formulate a more challenging multi-class 3D object detection problem within 3D CT imagery and propose a viable solution (3D RetinaNet) to tackle this problem. To enhance the performance of detection we investigate a variety of strategies including data augmentation and varying backbone networks. Experimentation carried out to provide both quantitative and qualitative evaluations of the proposed approach to multi-class 3D object detection within 3D CT baggage security screening imagery. Experimental results demonstrate the combination of the 3D RetinaNet and a series of favorable strategies can achieve a mean Average Precision (mAP) of 65.3\% over five object classes (i.e. {\it bottles, handguns, binoculars, glock frames, iPods}). The overall performance is affected by the poor performance on {\it glock frames} and {\it iPods} due to the lack of data and their resemblance with the baggage clutter.

연구 동기 및 목표

• 단일 클래스 검출을 넘어서, 3D CT 수하물 영상에서 다중 금지 물체 클래스를 동시에 탐지하는 과제를 해결한다.
• 실제 항공보안 검사에서 별도의 전문화된 모델이 필요로 하는 수요를 줄이기 위해 통합된 딥 러닝 프레임워크를 개발한다.
• 데이터 증강 및 백본 네트워크 변형을 탐색하여 체적 3D CT 데이터에서의 탐지 성능을 향상시킨다.
• 입력 해상도 스케일링 및 앵커 크기 적응이 3D 객체 검출 정확도에 미치는 영향을 조사한다.
• 저에너지/고에너지 이중 에너지(raw) CT 데이터가 금지된 물체 탐지 성능 향상에 기여하는지 평가한다.

제안 방법

• 다중 척도 탐지를 위해 특징 피라미드 네트워크(FPN)를 통합한 3D RetinaNet을 주요 객체 검출 프레임워크로 사용한다.
• 데이터 부족을 완화하기 위해 3D 위협 이미지 투영(TIP) 및 데이터 증강(3D 뒤집기, 회전)을 활용해 학습 데이터를 합성한다.
• 다양한 깊이의 3D ResNet 백본을 실험하여 탐지 성능에 미치는 영향을 평가한다.
• 계산 비용과 특징 표현 간 균형을 맞추기 위해 CT 볼륨을 3배로 스케일링하여 입력 해상도를 최적화한다.
• 지표 박스 크기에 맞게 FPN 레벨 간 앵커 크기를 적응시켜 정위치 정확도를 향상시킨다.
• 물질 대비 성능 향상 여부를 평가하기 위해 저에너지 및 고에너지 raw CT 데이터를 입력 채널로 조합하여 평가한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크는 별도의 클래스별 모델이 아닌, 3D CT 수하물 영상에서 다중 금지 물체 클래스를 효과적으로 탐지할 수 있는가?
• RQ2 3D 뒤집기 및 회전과 같은 데이터 증강 기법은 데이터가 적은 환경에서 3D 객체 탐지기의 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ3 체적 CT 데이터에서의 3D 객체 검출에 최적의 입력 해상도 스케일링 요소와 앵커 크기 구성은 무엇인가?
• RQ4 저에너지 및 고에너지 raw CT 데이터를 조합하면 금지 물체 탐지 성능이 향상되는가?
• RQ5 특히 글록 프레임과 아이팟과 같은 물체에서 실패가 발생하는 주요 원인은 무엇이며, 이는 데이터 부족과 잡음 유사성과 어떻게 관련되는가?

주요 결과

• 제안된 3D RetinaNet 프레임워크는 실제 체적 3D CT 수하물 영상에서 5개의 물체 클래스에 대해 평균 정밀도(mAP) 65.3%를 달성하였다.
• 가장 높은 탐지 성능은 입력 볼륨 스케일링 요소를 3배로 설정했을 때 달성되었으며, 이는 더 높거나 낮은 해상도에서는 앵커 크기 적응에도 불구하고 성능 저하가 발생했기 때문이다.
• 3D 뒤집기 및 회전을 통한 데이터 증강은 특히 데이터가 적은 환경에서 탐지기의 강건성을 크게 향상시켰다.
• 글록 프레임과 아이팟의 경우 훈련 데이터가 부족하고 배경 잡음과 시각적으로 유사하여 탐지 성능이 뚜렷이 낮아졌으며, 이로 인해 고조도의 가짜 양성 결과가 발생했다.
• 저에너지 및 고에너지 raw CT 데이터를 조합해도 탐지 성능 향상이 없었으며, 이는 단일 에너지원만으로도 효과적인 탐지가 가능하다는 것을 시사한다.
• 유사한 물체들(예: 망원경과 아이팟) 간의 가짜 양성 결과 및 겹침 예측이 빈번히 관찰되었으며, 이는 모델이 합성 3D TIP 데이터의 잡음 요소를 잘못 학습했기 때문일 가능성이 높다.