[논문 리뷰] Active Terahertz Imaging Dataset for Concealed Object Detection

Dong Liang, Fei Xue외 1명|arXiv (Cornell University)|2021. 05. 08.

Terahertz technology and applicationsEngineering참고 문헌 21인용 수 20

한 줄 요약

이 논문은 은폐된 물체 탐지에 사용할 수 있는 첫 번째 공개된 액티브 테라헤르츠 영상 데이터셋을 소개한다. 5 mm × 5 mm 해상도에서 총 3,157장의 영상과 1,349개의 레이블이 부여된 물체가 11개 클래스에 해당한다. RetinaNet은 mAP가 가장 높았으며, 탐지율 91.46%와 1.27%의 낮은 오류 경고 비율을 기록하여 YOLOv3, YOLOv4, FRCN-OHEM를 모두 앞섰다. 특히 세라믹 나이프나 열쇠처럼 작은 크기이거나 탐지가 어려운 물체에 대해 뛰어난 성능을 보였다.

ABSTRACT

Concealed object detection in Terahertz imaging is an urgent need for public security and counter-terrorism. In this paper, we provide a public dataset for evaluating multi-object detection algorithms in active Terahertz imaging resolution 5 mm by 5 mm. To the best of our knowledge, this is the first public Terahertz imaging dataset prepared to evaluate object detection algorithms. Object detection on this dataset is much more difficult than on those standard public object detection datasets due to its inferior imaging quality. Facing the problem of imbalanced samples in object detection and hard training samples, we evaluate four popular detectors: YOLOv3, YOLOv4, FRCN-OHEM, and RetinaNet on this dataset. Experimental results indicate that the RetinaNet achieves the highest mAP. In addition, we demonstrate that hiding objects in different parts of the human body affect detection accuracy. The dataset is available at https://github.com/LingLIx/THz_Dataset.

연구 동기 및 목표

• 액티브 테라헤르츠 영상에서 다중 물체 탐지 평가를 위한 공개 데이터셋 부족 문제를 해결하기 위해.
• 낮은 품질의 영상 조건에서도 실제 은폐된 물체 탐지 작업에 적용 가능한 딥러닝 탐지기의 벤치마킹을 가능하게 하기 위해.
• 테라헤르츠 영상에서 물체의 위치, 자세, 재질이 탐지 성능에 미치는 영향을 조사하기 위해.
• 컴퓨터 비전 및 광전기 영상 분야 간의 표준화된 데이터셋을 제공하여 혹독한 영상 조건 하에서도 탐지 기술을 발전시키기 위해.

제안 방법

• 140 GHz 어레이 스캐닝 시스템을 사용해 5 mm × 5 mm 해상도로 총 3,157장의 액티브 테라헤르츠 영상을 확보하였다.
• 남성 4명, 여성 6명 총 10명의 모델을 대상으로, 팔, 가슴, 다리 등 다양한 신체 부위와 영상 평면에 평행하거나 수직인 자세로 은폐된 물체를 촬영하였다.
• Pascal VOC 형식을 사용해 11개 클래스에 걸쳐 총 1,349개의 물체를 레이블링하였으며, 이 중 289개는 '알 수 없음' 클래스에 속한다.
• mAP, 탐지율(DR), 오류 경고 비율(FA)을 사용해 YOLOv3, YOLOv4, FRCN-OHEM, RetinaNet의 네 가지 최신 기술을 평가하였다.
• 클래스 불균형과 어려운 음성 샘플 문제를 해결하기 위해 RetinaNet에 Focal Loss를 적용하여 희귀하거나 작은 물체의 성능을 향상시켰다.
• 영상 수준 평가를 위해 DR 및 FA 지표를 사용하였으며, 물체의 위치 및 방향에 따른 탐지 재현율을 분석하였다.

실험 결과

연구 질문

• RQ1 인체 상의 물체 위치와 자세가 액티브 테라헤르츠 영상에서 탐지 성능에 어떤 영향을 미치는가?
• RQ2 낮은 품질의 테라헤르츠 영상으로 구성된 공개 데이터셋에서 어떤 딥러닝 탐지기가 가장 높은 mAP와 탐지율을 기록하는가?
• RQ3 클래스 불균형과 작은 물체 탐지 문제는 테라헤르츠 영상에서 표준 물체 탐지기의 성능에 어떤 영향을 미치는가?
• RQ4 다중 시점 또는 향상된 특징 융합 기법이 영상 평면에 수직으로 놓인 물체의 탐지 성능을 향상시킬 수 있는가?
• RQ5 이 데이터셋에서 다양한 탐지기 간에 탐지율과 오류 경고 비율 사이의 상호 교환 관계는 어떠한가?

주요 결과

• RetinaNet은 가장 높은 평균 평균 정밀도(mAP)와 탐지율(91.46%)을 기록했으며, 낮은 오류 경고 비율(1.27%)을 유지하여 YOLOv3, YOLOv4, FRCN-OHEM를 모두 앞섰다.
• RetinaNet의 탐지율은 오류 경고 비율이 1.27%일 때도 90%를 초과하여 강력한 내구성과 신뢰성을 입증했다.
• YOLOv4는 가장 낮은 오류 경고 비율(0.63%)을 기록했지만, RetinaNet에 비해 낮은 탐지율(84.49%)을 보였다.
• FRCN-OHEM는 전반적인 성능이 가장 열 劣하며, 탐지율 83.86%와 높은 오류 경고 비율 18.99%를 기록했다.
• 물체의 위치에 따라 탐지 성능이 크게 달라졌다: 팔에 놓인 물체의 재현율은 가장 낮았으며, RetinaNet 기준 0.5000이었고, 다리에 놓인 물체는 더 높은 재현율(0.7000)을 기록하여 신체 기하학적 특성이 탐지 가능성에 영향을 준다.
• 영상 평면에 수직으로 놓인 물체는 평행한 경우보다 재현율이 현저히 낮았다(예: RetinaNet 기준 0.5577 vs. 0.6105). 이는 다중 시점 탐지 전략의 필요성을 강조한다.