[論文レビュー] Improved Person Detection on Omnidirectional Images with Non-maxima Suppression

Roman Seidel, André Apitzsch+1 more|arXiv (Cornell University)|May 22, 2018

Advanced Neural Network Applications参考文献 19被引用数 18

ひとこと要約

本稿では、魚眼画像に適応した仮想的視点ビューを用いてYOLOv2を変更し、全方向画像における人物検出手法を提案する。検出結果を逆投影し、ガウス平滑化を施したソフト非最大抑制を適用することで、PIROPOでは64.6%、Flatデータセットでは77.6%の平均精度を達成し、ベースラインのYOLOv2および標準NMSよりも顕著に向上した。

ABSTRACT

We propose a person detector on omnidirectional images, an accurate method to generate minimal enclosing rectangles of persons. The basic idea is to adapt the qualitative detection performance of a convolutional neural network based method, namely YOLOv2 to fish-eye images. The design of our approach picks up the idea of a state-of-the-art object detector and highly overlapping areas of images with their regions of interests. This overlap reduces the number of false negatives. Based on the raw bounding boxes of the detector we fine-tuned overlapping bounding boxes by three approaches: non-maximum suppression, soft non-maximum suppression and soft non-maximum suppression with Gaussian smoothing. The evaluation was done on the PIROPO database and an own annotated Flat dataset, supplemented with bounding boxes on omnidirectional images. We achieve an average precision of 64.4 % with YOLOv2 for the class person on PIROPO and 77.6 % on Flat. For this purpose we fine-tuned the soft non-maximum suppression with Gaussian smoothing.

研究の動機と目的

• 深層学習を用いて、180°の全方向（魚眼）画像における正確な人物検出の課題を解決すること。
• パースペクティブ画像で学習された標準的なオブジェクト検出器を歪んだ全方向ビューに直接適用した場合の制限を克服すること。
• 重複する検出結果の精緻な後処理を通じて、誤検出を低減し、バウンディングボックスの品質を向上させること。
• 全方向画像検出において、さまざまな非最大抑制（NMS）のバリエーションの有効性を評価すること。
• 新規にアノテートされたデータセット（Flat）を作成し、それを活用するとともに、PIROPOデータベースをベンチマークとして用いること。

提案手法

• 小さなステップサイズで方位角および仰角をサンプリングすることにより、全方向画像から非常に重複する仮想的視点ビューを生成する。
• 各仮想的視点ビューにYOLOv2を適用し、元の検出バウンディングボックスを取得する。
• 検出されたバウンディングボックスを、元の全方向画像座標系に逆投影する。
• 3つの後処理手法（標準NMS、ソフトNMS、ガウス平滑化を施したソフトNMS）を適用し、重複する検出結果を精緻化する。
• PASCAL VOCの基準に従い、交差率（IoU）の閾値を0.5として評価する。
• 適合度スコアとIoUの重なりに基づいて、抑制手法を微調整し、重複した過大なボックスを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 YOLOv2を全方向画像に直接適用した場合、人物検出性能はどの程度低下するか？
• RQ2 仮想的視点ビューを用いることで、全方向画像における検出精度はどの程度向上するか？
• RQ3 非最大抑制のバリエーション（標準、ソフト、ガウス平滑化付きソフト）の中で、全方向データに対して最も優れた検出性能を示すのはどれか？
• RQ4 特にPIROPOと新しく作成されたFlatデータセットにおいて、検出結果はどのように比較されるか？
• RQ5 レンズ歪みおよび軸が平行でない性質が、全方向検出におけるバウンディングボックスの品質に与える影響は何か？

主な発見

• ガウス平滑化を施したソフト非最大抑制は、人物クラスについてPIROPOデータセットで最高の平均精度64.6%を達成した。
• 新しく作成されたFlatデータセットでは、同じ手法が77.6%の平均精度に達し、他のすべてのNMSバリエーションを上回った。
• YOLOv2を全方向画像に直接適用した場合（NMS Omni）は、平均精度がわずか41.4%にとどまり、適応なしでは顕著な性能低下が生じることが示された。
• ガウス平滑化付きソフトNMSのPR曲線は、特に再現率が0.35〜0.75の範囲で優れた性能を示し、高い精度を維持した。
• 標準NMSとソフトNMSはほぼ同一のPR曲線を示し、低精度領域（<0.2）でのわずかな差異を除いてほとんど差がなかった。
• 重複する仮想ビューを活用することで、本手法は誤検出（偽陰性）を効果的に低減し、複数の投影において人物を検出する可能性を高めた。