[論文レビュー] RAPiD: Rotation-Aware People Detection in Overhead Fisheye Images

Zhihao Duan, M. Ozan Tezcan+3 more|ArXiv.org|May 23, 2020

Video Surveillance and Tracking Methods参考文献 32被引用数 4

ひとこと要約

RAPiD は、回転に注意を払った、オーバーヘッド・ファイッシュアイ・イメージ向けのエンドツーエンドの人々検出手法であり、任意の方向をとるバウンディングボックスを回帰するための完全畳み込みニューラルネットワークを用い、角度予測のための新しい周期的損失関数を採用している。3つのデータセット、特に新しい挑戦的なデータセット（CEPDOF）において、標準の YOLO よりも高い精度で、追加の計算コストなしに最先端の手法を上回っている。

ABSTRACT

Recent methods for people detection in overhead, fisheye images either use radially-aligned bounding boxes to represent people, assuming people always appear along image radius or require significant pre-/post-processing which radically increases computational complexity. In this work, we develop an end-to-end rotation-aware people detection method, named RAPiD, that detects people using arbitrarily-oriented bounding boxes. Our fully-convolutional neural network directly regresses the angle of each bounding box using a periodic loss function, which accounts for angle periodicities. We have also created a new dataset with spatio-temporal annotations of rotated bounding boxes, for people detection as well as other vision tasks in overhead fisheye videos. We show that our simple, yet effective method outperforms state-of-the-art results on three fisheye-image datasets. Code and dataset are available at http://vip.bu.edu/rapid .

研究の動機と目的

• 径方向歪みと真っすぐでない人体ポーズの影響により、標準の物体検出モデルがオーバーヘッド・ファイッシュアイ・イメージで性能を発揮できない問題に対処する。
• 回転した人々を処理するための、径方向の整列や複雑な前処理／後処理に依存する既存手法の限界を克服する。
• ポーズや方向に関する仮定なしに、任意の方向をとるバウンディングボックスを予測できるエンドツーエンドのディープラーニングモデルを開発する。
• 遮蔽、帽子、低照度状態を含む、多様な実世界のシナリオを持つ、新たな挑戦的なデータセット（CEPDOF）を提供し、検出のロバストネスをより良く評価する。
• スマートビルでの応用、例えば占有状態センシングやセキュリティなど、高精度でリアルタイムの人々検出を、ファイッシュアイカメラを用いて実現する。

提案手法

• YOLOv3 を拡張し、各人の中心、幅、高さ、角度を回帰することで、回転したバウンディングボックスを予測する。
• 角度空間の円形性を考慮し、±π での不連続性を回避するため、サインおよびコサイン表現を用いた周期的損失関数を導入する。
• [−π, π) の有界な角度範囲を用い、予測された幅 < 高さを強制する対称性に配慮したヘッドを採用することで、一意なボックス表現を保証する。
• 1枚の画像に対して1回の順伝播のみを用いるエンドツーエンドの学習により、複数ステップの推論や、従来の手法と同様に画像を回転させる必要を回避する。
• 標準画像で事前学習された重みよりも、ファイッシュアイ固有のデータで微調整することで性能を向上させる。
• データオーグメンテーションとクラスに依存しないヘッドを適用し、単一クラスの人々検出のための推論速度を向上させ、人々固有の特徴に集中する。

実験結果

リサーチクエスチョン

• RQ1 単段階でエンドツーエンドのディープラーニングモデルが、任意の方向をとるバウンディングボックスを用いて、オーバーヘッド・ファイッシュアイ・イメージにおける人々検出を効果的に行えるか？
• RQ2 角度回帰に周期的損失関数を用いることで、標準の L1/L2 回帰に比べ、精度と角度の不連続性に対するロバストネスが向上するか？
• RQ3 遮蔽、不自然なポーズ、低照度状態などの、実世界の挑戦的状況において、提案手法は既存手法に比べてどのように性能を発揮するか？
• RQ4 標準の物体検出モデルをファイッシュアイデータで微調整することで、推論の複雑さを増すことなく、性能がどの程度向上するか？
• RQ5 空間的・時間的アノテーションが付加された、多様な回転バウンディングボックスを有する、新たなデータセットが、ファイッシュアイ環境における人々検出の評価とベンチマークの向上に寄与できるか？

主な発見

• RAPiD は、周期的 L1 損失を用いて HABBOF データセットで 88.9% の AP50 を達成し、次に優れた手法より 1.9 パcentage points 高い。
• CEPDOF データセットでは、1024×1024 解像度の通常照度動画において、AP50 が 97.6% に達し、高活動状態やランチミーティングのシナリオでも F-measure が 0.96 を超える。
• 低照度状態（例：All-off 動画では 52.8% の AP50）では性能が著しく低下するが、赤外線照明を用いることで 65.6% に向上し、視認性への感受性が示された。
• ネットワークは一貫して幅 < 高さ（平均アスペクト比 >1）を予測しており、対称性仮定の妥当性が裏付けられ、一意なボックス表現が保証されている。
• 周期的損失関数により角度予測誤差が低減され、非径方向および非真っすぐなポーズの検出が正確に行えることが、定性的な比較で示された。
• RAPiD は、標準 YOLO と同等の推論速度を維持しており、1枚の画像に対して1回の順伝播のみを必要とし、従来手法が要する24回の YOLO 応用を回避している。