[論文レビュー] Unsupervised Hard Example Mining from Videos for Improved Object Detection

SouYoung Jin, Aruni RoyChowdhury+5 more|arXiv (Cornell University)|Aug 13, 2018

Video Surveillance and Tracking Methods参考文献 54被引用数 9

ひとこと要約

本稿では、一時的に孤立した検出結果（いわゆる「検出器のちらつき」）を特定することで、ラベルなし動画データからハードネガティブ例およびハードポジティブ例を教師なしで抽出する手法を提案する。これらの自動収集されたハード例を用いてオブジェクト検出器を再訓練することで、顔検出や歩行者検出を含む複数のデータセットおよびアーキテクチャで検出性能が著しく向上し、MS-COCOでは最大1.5 APポイントの向上を達成した。

ABSTRACT

Important gains have recently been obtained in object detection by using training objectives that focus on {\em hard negative} examples, i.e., negative examples that are currently rated as positive or ambiguous by the detector. These examples can strongly influence parameters when the network is trained to correct them. Unfortunately, they are often sparse in the training data, and are expensive to obtain. In this work, we show how large numbers of hard negatives can be obtained {\em automatically} by analyzing the output of a trained detector on video sequences. In particular, detections that are {\em isolated in time}, i.e., that have no associated preceding or following detections, are likely to be hard negatives. We describe simple procedures for mining large numbers of such hard negatives (and also hard {\em positives}) from unlabeled video data. Our experiments show that retraining detectors on these automatically obtained examples often significantly improves performance. We present experiments on multiple architectures and multiple data sets, including face detection, pedestrian detection and other object categories.

研究の動機と目的

• オブジェクト検出におけるハードネガティブ例の収集が困難で高コストであるという問題に対処すること。
• 動画シーケンスと事前学習済み検出器を用いて、教師なしでスケーラブルなハード例抽出手法を開発すること。
• ラベルなし動画から自動で抽出したハードポジティブ例およびハードネガティブ例を用いた微調整により、オブジェクト検出器の性能を向上させること。
• 異なるオブジェクトカテゴリ、アーキテクチャ、ベンチマークデータセットにわたる本手法の有効性を示すこと。

提案手法

• 前後フレームに同様の検出結果がないフレーム内の検出結果（「ちらつき」）を特定することで、一時的に孤立した検出結果を同定する。
• 大規模なラベルなし動画データに対して事前学習済みオブジェクト検出器を適用し、その後時間的フィルタリングを適用してちらつきを抽出する。
• 時間的に孤立した検出結果を、誤検出（偽陽性）の場合はハードネガティブ例、見逃し検出（偽陰性）の場合はハードポジティブ例として扱い、再訓練に使用する。
• 標準的なトレーニングプロトコルに従い、元のラベル付きデータと抽出したハード例の和集合を用いて検出器を微調整する。
• 複数のデータセット（WIDER Face、Caltech Pedestrian、MS-COCO）およびアーキテクチャ（Faster R-CNN、VGG16ベースのモデル）に本手法を適用する。
• 信頼度のしきい値（例：0.8）を用いて検出結果をフィルタリングし、高信頼度のちらつきのみを抽出に使用する。

実験結果

リサーチクエスチョン

• RQ1 動画シーケンスにおける時間的に孤立した検出結果は、オブジェクト検出器のハードネガティブ例として信頼性を持って示唆できるか？
• RQ2 ラベルなし動画から教師なしでハード例を抽出することは、検出器性能に測定可能な向上をもたらすか？
• RQ3 顔、歩行者、イヌ、列車などの異なるオブジェクトカテゴリにおいて、本手法はどの程度有効か？
• RQ4 アーキテクチャの変更なしに、他の検出アーキテクチャおよびデータセットへも一般化可能か？

主な発見

• WIDER Faceデータセットでは、抽出したハードネガティブ例を用いた微調整によりAPが1.5ポイント向上（26.9 → 28.1）。
• Caltech Pedestrianデータセットでは、ハードネガティブ例を用いた微調整によりAPが1.5ポイント向上（33.9 → 35.4）。
• MS-COCOでは、テストセットにおいて『イヌ』カテゴリのAPが25.3から26.4に、『列車』カテゴリが33.2から33.7に向上した。
• 顔、歩行者、イヌ、列車の検出タスクを含む、複数のアーキテクチャおよびデータセットで一貫した性能向上を達成した。
• スケーラブルで完全に自動化されたアプローチであり、数時間分のラベルなし動画から数万件のハード例を抽出可能である。
• YouTube動画とトレーニングデータの間でドメインシフトが顕著であっても、ベースラインモデルを上回る性能を示しており、分布シフトに対して頑健であることが示唆された。