[論文レビュー] Road User Detection in Videos

Hughes Perreault, Guillaume-Alexandre Bilodeau+2 more|arXiv (Cornell University)|Mar 28, 2019

Video Surveillance and Tracking Methods参考文献 28被引用数 6

ひとこと要約

本稿では、2つの連続する動画フレームを活用することで、ロードユーザーの検出を向上させる2つの動画オブジェクト検出モデル、RetinaNet-Double および RetinaNet-Flow を提案する。RetinaNet-Double は、ターゲットフレームと直前のフレームをチャネル次元に沿って連結し、3つのデータセットで顕著な mAP の向上を達成する。一方、光センサーを用いた RetinaNet-Flow は性能を発揮せず、raw フレームからのエンドツーエンド特徴学習が、明示的な動き表現よりも効果的であることを示している。

ABSTRACT

Successive frames of a video are highly redundant, and the most popular object detection methods do not take advantage of this fact. Using multiple consecutive frames can improve detection of small objects or difficult examples and can improve speed and detection consistency in a video sequence, for instance by interpolating features between frames. In this work, a novel approach is introduced to perform online video object detection using two consecutive frames of video sequences involving road users. Two new models, RetinaNet-Double and RetinaNet-Flow, are proposed, based respectively on the concatenation of a target frame with a preceding frame, and the concatenation of the optical flow with the target frame. The models are trained and evaluated on three public datasets. Experiments show that using a preceding frame improves performance over single frame detectors, but using explicit optical flow usually does not.

研究の動機と目的

• 動画シーケンスにおける小さな、隠蔽されている、または運動ぼやけたロードユーザーのオブジェクト検出精度を向上させること。
• 1フレーム法と比較して、2つの連続フレームを用いることで検出性能が向上するかどうかを調査すること。
• 明示的な光センサーを用いることで、raw フレームの連結よりも検出性能が向上するかどうかを評価すること。
• 既存のオブジェクト検出器のアーキテクチャを変更せずに統合可能な汎用的で実装可能なアプローチを開発すること。
• 隠蔽や運動ぼやけなどの困難な交通状況において、より一貫性と頑健性が向上することを示すこと。

提案手法

• RetinaNet-Double は、ターゲットフレームと直前のフレームをチャネル次元に沿って連結し、RetinaNet をベースとした検出器の入力とする。
• RetinaNet-Flow は、2つのフレーム間の予測された光センサーをターゲットフレームと連結して特徴統合を行う。
• 両モデルは、バックボーンやヘッドのアーキテクチャを変更せずに、標準的な RetinaNet の損失関数を用いてエンドツーエンドで訓練される。
• モデルは、MOTChallenge、UA-DETRAC、UAV-benchmark の3つの公開ロードユーザー検出データセットで評価される。
• ImageNet の事前学習重みを用いた学習と、スクラッチからの学習を実施し、一般化性能と性能向上の程度を評価する。
• 入力テンソルの次元を維持することで、1段階または2段階のオブジェクト検出器すべてと互換性を持つように設計されている。

実験結果

リサーチクエスチョン

• RQ1 2つの連続する動画フレームを用いることで、単一フレーム検出と比較して、小さな、または隠蔽されたロードユーザーの検出精度が向上するか？
• RQ2 フレーム間の明示的な光センサーの使用が、raw フレームの連結よりも検出性能を向上させるか？
• RQ3 提案手法は、異なるデータセットや学習設定において一般化できるか？
• RQ4 物体が静止している、または動かない状況でも、モデルの性能を維持できるか？
• RQ5 2フレームアプローチは、アーキテクチャの変更なしに、既存のオブジェクト検出フレームワークと互換性を持つか？

主な発見

• スクラッチからの学習において、RetinaNet-Double は3つのデータセットすべてでベースラインの RetinaNet よりも高い平均平均精度（mAP）を達成した。
• MOTChallenge データセットにおいて、スクラッチからの学習で RetinaNet-Double はベースライン比 3.1% の mAP 向上を達成した。
• RetinaNet-Flow は RetinaNet-Double よりも性能が低く、明示的な光センサーが検出性能を向上させず、むしろエンドツーエンド特徴学習を阻害する可能性があることを示している。
• ImageNet 事前学習重みを用いた場合でも、提案手法はバックボーンに事前学習特徴を用いていないにもかかわらず、UAV-benchmark においても最先端のモデルと比較して優れた性能を示した。
• 隠蔽や運動ぼやけの状況でも、定量的例では RetinaNet-Double がベースラインが見逃した車両を検出できることから、頑健性が維持されていることが示された。
• 予備のアブレーションでは、同じフレームを2回入力として使用した場合、性能低下が最小限に抑えられ、単一フレームシナリオへのフォールバックが可能であることが分かった。