[論文レビュー] Seq-NMS for Video Object Detection

Wei Han, Pooya Khorrami+7 more|arXiv (Cornell University)|Feb 26, 2016

Advanced Neural Network Applications参考文献 8被引用数 154

ひとこと要約

Seq-NMSは単一画像検出器の後処理を拡張し、時間的一貫性を利用して近接フレームの弱い検出を改善し、ILSVRC-2015のImageNet VIDで最先端に近い利得を達成します。

ABSTRACT

Video object detection is challenging because objects that are easily detected in one frame may be difficult to detect in another frame within the same clip. Recently, there have been major advances for doing object detection in a single image. These methods typically contain three phases: (i) object proposal generation (ii) object classification and (iii) post-processing. We propose a modification of the post-processing phase that uses high-scoring object detections from nearby frames to boost scores of weaker detections within the same clip. We show that our method obtains superior results to state-of-the-art single image object detection techniques. Our method placed 3rd in the video object detection (VID) task of the ImageNet Large Scale Visual Recognition Challenge 2015 (ILSVRC2015).

研究の動機と目的

• ビデオオブジェクト検出を、フレーム単位処理を超えた時間情報を活用して改善する動機付け。
• 隣接フレーム間で情報を集約するポスト処理ステップで単一画像検出器を拡張。
• Seq-NMSがImageNet VIDデータセットのmAPを改善し、ILSVRC-2015 VIDタスクで競争力のあるランキングを示すことを示す。

提案手法

• クリップ内のすべてのフレームに対して領域提案とスコアを用いたビデオ全体の提案集合を構築。
• 隣接フレーム間でIoU > 0.5のフレーム間IoUグラフを構築し、シーケンスを形成。
• クリップ全体で最もスコアの高いシーケンスを動的計画法で選択。
• 選択されたシーケンスのスコアを関数F（平均または最大）で再スコアリング。
• 同一フレームおよびシーケンスに沿って非選択のボックスを抑制し、冗長性を低減。
• シーケンスが残らなくなるまでこの処理を繰り返す。

実験結果

リサーチクエスチョン

• RQ1 ポスト処理に時間情報を組み込むことは、ビデオオブジェクト検出におけるフレーム単位のNMSより検出性能を改善するか。
• RQ2 Seq-NMSは異なるベースネットワーク（ZF対VGG）でImageNet VIDのmAPをどれだけ改善できるか。
• RQ3 遮蔽、スケール変化、類似物が近くにある場合のSeq-NMSの長所と失敗モードは何か。

主な発見

• Seq-NMSはVGG netsのような強力な検出器と組み合わせた場合、ImageNet VIDにおける単一画像NMSよりmAPを改善する。
• Seq-NMS（avg）は初期バリデーションで51.5%、全バリデーションで51.4%のmAPを示し、NMSのみを上回る。
• Seq-NMS（best）は初期バリデーションで53.6%、全バリデーションで52.2%のmAPを達成；完全なテストでは設定に応じて48.2–48.7%に達する。
• 初期バリデーションでSeq-NMS（avg）は51.4%のmAP、Seq-NMS（best）は52.2%を全バリデーションで達成する；この手法はオブジェクトクラス（例：バイク、カメ、レッドパンダ、ヤモリ、羊など）でも著しい利得を示す。
• この手法はILSVRC-2015のImageNet VIDタスクで3位を獲得。
• トップ手法と比較すると、Seq-NMSベースの時間情報は、彼らの設定におけるトラジェクトリ/伝播法より有利な利得を提供。