[論文レビュー] Multi-Class 3D Object Detection Within Volumetric 3D Computed Tomography Baggage Security Screening Imagery

Qian Wang, Neelanjan Bhowmik+1 more|arXiv (Cornell University)|Aug 3, 2020

Advanced X-ray and CT Imaging参考文献 36被引用数 4

ひとこと要約

本稿では、ボリュメトリックなCTバッグエージェンシー画像における複数クラスの3次元物体検出を統合的に実現する3D RetinaNetフレームワークを提案する。データ拡張およびバックボーンネットワークの変種を活用することで、データ不足やごみ類に類似した形状の課題にもかかわらず、5つの禁止物クラス（ボトル、ハンドガン、双眼鏡、グロックフレーム、iPod）において平均平均適合率（mAP）65.3％を達成した。

ABSTRACT

Automatic detection of prohibited objects within passenger baggage is important for aviation security. X-ray Computed Tomography (CT) based 3D imaging is widely used in airports for aviation security screening whilst prior work on automatic prohibited item detection focus primarily on 2D X-ray imagery. These works have proven the possibility of extending deep convolutional neural networks (CNN) based automatic prohibited item detection from 2D X-ray imagery to volumetric 3D CT baggage security screening imagery. However, previous work on 3D object detection in baggage security screening imagery focused on the detection of one specific type of objects (e.g., either {\it bottles} or {\it handguns}). As a result, multiple models are needed if more than one type of prohibited item is required to be detected in practice. In this paper, we consider the detection of multiple object categories of interest using one unified framework. To this end, we formulate a more challenging multi-class 3D object detection problem within 3D CT imagery and propose a viable solution (3D RetinaNet) to tackle this problem. To enhance the performance of detection we investigate a variety of strategies including data augmentation and varying backbone networks. Experimentation carried out to provide both quantitative and qualitative evaluations of the proposed approach to multi-class 3D object detection within 3D CT baggage security screening imagery. Experimental results demonstrate the combination of the 3D RetinaNet and a series of favorable strategies can achieve a mean Average Precision (mAP) of 65.3\% over five object classes (i.e. {\it bottles, handguns, binoculars, glock frames, iPods}). The overall performance is affected by the poor performance on {\it glock frames} and {\it iPods} due to the lack of data and their resemblance with the baggage clutter.

研究の動機と目的

• 3次元CTバッグエージェンシー画像において、複数の禁止物クラスを同時に検出する課題に取り組み、単一クラス検出から脱却すること。
• 実世界の航空保安監視において、複数の専用モデルの必要性を減らす統合的なディープラーニングフレームワークの開発。
• データ拡張およびバックボーンネットワークの変種を活用することで、ボリュメトリックな3次元CTデータにおける検出性能の向上。
• 入力解像度のスケーリングおよびアンカーサイズの適応が、3次元物体検出における精度に与える影響の調査。
• 低エネルギー／高エネルギーの二重エネルギー（raw CT）データが、禁止物検出性能の向上に寄与するかの評価。

提案手法

• 主に3次元RetinaNetを物体検出フレームワークとして採用し、特徴マップのピラミッドネットワーク（FPN）を統合してマルチスケール検出を実現。
• 3次元TIP（Threat Image Projection）およびデータ拡張（3次元のフリップ、回転）を用いてトレーニングデータを合成し、データスパarsityを緩和。
• 異なる深さの3次元ResNetバックボーンを用いて、検出性能に与える影響を評価する実験を実施。
• CTボリュームを3倍にスケーリングすることで入力解像度を最適化し、計算コストと特徴表現のバランスをとる。
• FPNの各レベルに応じてアンカーサイズを調整し、正例ボックスの寸法に適合させることで、局所化精度を向上。
• 低エネルギーおよび高エネルギーのraw CTデータを入力チャネルとして組み合わせ、物質対比の利点が検出性能に与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 統合的なディープラーニングフレームワークは、クラスごとに別々のモデルを必要とせずに、3次元CTバッグエージェンシー画像において複数の禁止物クラスを効果的に検出できるか？
• RQ2 3次元フリップや回転といったデータ拡張技術は、データが少ない環境下でも3次元物体検出器の一般化性能およびロバストネスにどのように影響するか？
• RQ3 ボリュメトリックな3次元CTデータにおける3次元物体検出において、最適な入力解像度スケーリング要因およびアンカーサイズの設定は何か？
• RQ4 低エネルギーおよび高エネルギーのraw CTデータを組み合わせることで、禁止物の検出性能が向上するか？
• RQ5 主な検出失敗要因、特にグロックフレームやiPodのような物体における原因は何か。また、それらはデータ不足やごみ類との視覚的類似性とどのように関連しているか？

主な発見

• 提案された3D RetinaNetフレームワークは、実際のボリュメトリックな3次元CTバッグエージェンシー画像において、5つの物体クラスで平均平均適合率（mAP）65.3％を達成した。
• 最高の検出性能は、入力ボリュームを3倍にスケーリングした場合に得られ、アンカーサイズの適応にもかかわらず、それ以上のスケーリングや低解像度では性能が低下した。
• 3次元フリップおよび回転によるデータ拡張は、特にデータが少ない環境下で検出のロバストネスを顕著に向上させた。
• グロックフレームおよびiPodの検出性能は顕著に低く、訓練データの不足とバッグエージェンシー内のごみ類との視覚的類似性が原因で、誤検出率が高くなった。
• 低エネルギーおよび高エネルギーのraw CTデータを組み合わせても検出性能は向上せず、いずれのエネルギー源を単独で用いても効果的な検出が可能であることが示唆された。
• 類似した物体（例：双眼鏡とiPod）同士の重複予測や誤検出が頻発したが、これは合成された3次元TIPデータ内のアーティファクトがモデルに誤って学習された可能性がある。