[論文レビュー] Orientation Aware Object Detection with Application to Firearms

Javed Iqbal, Muhammad Akhtar Munir+3 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Neural Network Applications参考文献 39被引用数 10

ひとこと要約

本論文では、2段階のプロセスを通じて物体の方向を予測することで、火器検出を向上させる方向認識物体検出器（OAOD）を提案する。まず方向を推定して提案領域を回転させ、その後回転した領域の分類と局所化を行う。この手法により、回転した境界ボックスを用いることで優れた局所化性能を達成し、11,000枚のアノテート済み画像を含む新規に収集されたITU火器（ITUF）データセットにおいて、最先端の検出器を上回る性能を発揮する。

ABSTRACT

Automatic detection of firearms is important for enhancing security and safety of people, however, it is a challenging task owing to the wide variations in shape, size and appearance of firearms. To handle these challenges we propose an Orientation Aware Object Detector (OAOD) which has achieved improved firearm detection and localization performance. The proposed detector has two phases. In the Phase-1 it predicts orientation of the object which is used to rotate the object proposal. Maximum area rectangles are cropped from the rotated object proposals which are again classified and localized in the Phase-2 of the algorithm. The oriented object proposals are mapped back to the original coordinates resulting in oriented bounding boxes which localize the weapons much better than the axis aligned bounding boxes. Being orientation aware, our non-maximum suppression is able to avoid multiple detection of the same object and it can better resolve objects which lie in close proximity to each other. This two phase system leverages OAOD to predict object oriented bounding boxes while being trained only on the axis aligned boxes in the ground-truth. In order to train object detectors for firearm detection, a dataset consisting of around eleven thousand firearm images is collected from the internet and manually annotated. The proposed ITU Firearm (ITUF) dataset contains wide range of guns and rifles. The OAOD algorithm is evaluated on the ITUF dataset and compared with current state of the art object detectors. Our experiments demonstrate the excellent performance of the proposed detector for the task of firearm detection.

研究の動機と目的

• 火器の形状、サイズ、外観の多様性が著しいことによる検出の難易度に対処すること。
• 軸に沿った境界ボックスを超えた物体局所化を向上させるために、物体の方向認識を統合すること。
• 軸に沿った真値アノテーションで学習可能だが、回転した境界ボックスを予測できる検出器を開発すること。
• 方向認識非最大抑制を用いて、密に配置された火器同士の誤検出や重複検出を低減すること。
• 大規模かつ多様な火器データセット（ITUF）を構築・公開し、検出モデルのベンチマークを提供すること。

提案手法

• OAODフレームワークは2段階のアプローチを採用する：段階1では、領域提案ネットワークを用いて物体提案の方向を予測する。
• 物体提案を予測された方向に従って回転させ、物体の実際の方向に一致させる。
• 回転した提案領域から最大面積の長方形を切り出して、最も関連性の高い特徴を保持する。
• 段階2では、分類ヘッドを用いて回転した領域の分類と局所化の微調整を行う。
• 予測された回転した境界ボックスを元の画像座標にマッピングして、最終的な検出出力を得る。
• 非最大抑制を方向認識に対応させることで、同じ火器の重複検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 方向認識を組み込んだ2段階の物体検出フレームワークは、軸に沿ったベースラインと比較して火器検出精度を向上させることができるか？
• RQ2 方向認識非最大抑制は、重なっているか密に配置された火器を効果的に解消できるか？
• RQ3 軸に沿った真値アノテーションで学習した検出器が、正確な回転した境界ボックスを予測するのにどの程度一般化できるか？
• RQ4 本手法は、顕著な視覚的変動が見られる多様な実世界の火器データセットにおいて、どの程度の性能を発揮するか？
• RQ5 回転した領域提案を用いることで、火器の局所化精度と再現率にどのような影響を与えるか？

主な発見

• OAODモデルはITUFデータセットにおいて最先端の性能を達成し、既存の検出器と比較して火器の局所化において顕著に優れている。
• 方向認識提案領域と回転した境界ボックスの使用により、軸に沿った境界ボックスよりもより正確な局所化が実現されている。
• 2段階の設計により、軸に沿ったアノテーションからの学習が可能でありながら、回転した出力を予測できるため、一般化性能が向上している。
• 方向認識非最大抑制は、特に混雑したシーンにおいて、同じ火器の複数検出を効果的に低減している。
• 約11,000枚の手動アノテート済み火器画像を含むITUFデータセットは、火器検出研究のための強力なベンチマークを提供している。