[論文レビュー] Negative Frames Matter in Egocentric Visual Query 2D Localization

Mengmeng Xu, Cheng-Yang Fu+4 more|arXiv (Cornell University)|Aug 3, 2022

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本論文は、トレーニング効率を最適化し、ネガティブフレームのトレーニングにより誤検出を低減することで、エゴセントリックなビジュアルクエリ2次元ロケーションの高速かつ高精度なソリューションを提案する。トレーニングを15日間から24時間未塔に短縮し、検出器のトレーニングにネガティブフレームを統合することで、空間的・時間的AP（stAP）が0.17%に達し、ベースライン比31%の向上を達成。Ego4Dのパブリックリーダーボードでは1位を獲得した。

ABSTRACT

The recently released Ego4D dataset and benchmark significantly scales and diversifies the first-person visual perception data. In Ego4D, the Visual Queries 2D Localization task aims to retrieve objects appeared in the past from the recording in the first-person view. This task requires a system to spatially and temporally localize the most recent appearance of a given object query, where query is registered by a single tight visual crop of the object in a different scene. Our study is based on the three-stage baseline introduced in the Episodic Memory benchmark. The baseline solves the problem by detection and tracking: detect the similar objects in all the frames, then run a tracker from the most confident detection result. In the VQ2D challenge, we identified two limitations of the current baseline. (1) The training configuration has redundant computation. Although the training set has millions of instances, most of them are repetitive and the number of unique object is only around 14.6k. The repeated gradient computation of the same object lead to an inefficient training; (2) The false positive rate is high on background frames. This is due to the distribution gap between training and evaluation. During training, the model is only able to see the clean, stable, and labeled frames, but the egocentric videos also have noisy, blurry, or unlabeled background frames. To this end, we developed a more efficient and effective solution. Concretely, we bring the training loop from ~15 days to less than 24 hours, and we achieve 0.17% spatial-temporal AP, which is 31% higher than the baseline. Our solution got the first ranking on the public leaderboard. Our code is publicly available at https://github.com/facebookresearch/vq2d_cvpr.

研究の動機と目的

• エゴセントリックなビジュアルクエリ2次元ロケーションにおけるトレーニングおよび評価の非効率性を是正すること。
• 背景やネガティブフレームに高い誤検出率が生じ、最終的なリトリーブ性能を低下させることを軽減すること。
• 事前学習モデル（例：COCO）とエゴセントリック動画データ（Ego4D）との間の分布ギャップを埋めること。
• ぼやけた、合焦していない、または曖昧なフレームに対するモデルのロバスト性を、ネガティブ例を明示的にトレーニングすることで向上させること。
• コードの再構築と並列処理を活用し、研究サイクルを加速させ、迅速な実験を可能とすること。

提案手法

• 元の15日間のトレーニングループを、再構築され並列化されたトレーニングおよび評価パイプラインに置き換え、トレーニング時間を24時間未塔に短縮した。
• クエリオブジェクトを含まないネガティブフレームを含む新しいトレーニング戦略を導入。これは、正解とのIoUが0.5未塔、または応答トラック外のフレームとして定義される。
• ハードネガティブマーチングを適用し、損失が最も高い上位K個のネガティブプロポーザルを選択。1:64のポジティブ対ネガティブ比を維持した。
• COCOでの事前学習からのドメインシフトを低減するため、Ego4Dデータ上でバックボーンをファインチューニングした。
• クエリクロップと動画フレームを比較するための2本のブランチを持つ特徴抽出器を備えたシアンプルROIヘッドを採用した。
• ピーク検出フレームを基準に、前向きおよび後向きの時間的方向にトラッカーを用いて応答トラックを生成した。

実験結果

リサーチクエスチョン

• RQ1 エゴセントリックなビジュアルクエリ2次元ロケーションにおいて、トレーニングおよび評価の効率をどのように著しく向上させられるか？
• RQ2 なぜネガティブフレームに誤検出が生じるのか。検出段階でどのようにしてこれを軽減できるか？
• RQ3 トレーニングにネガティブフレームを含めることで、検出のロバスト性と最終的なリトリーブ性能がどの程度向上するか？
• RQ4 Ego4Dデータ上でバックボーンをファインチューニングすることで、COCO事前学習からのドメインギャップはどの程度低減されるか？
• RQ5 誤検出エラーが最終的なstAP指標に与える影響は何か。定量的に分析できるか？

主な発見

• 提案手法により、トレーニング時間を3600時間から24時間未塔に短縮し、1500%の高速化を達成した。
• 評価時間は400時間から12時間に短縮され、3200%の改善が得られた。
• ネガティブフレームを含むトレーニングにより、ポジティブおよびネガティブフレーム両方で評価した際のフレームレベルAPが25.95から31.98に向上した。
• テストセットにおいて、空間的・時間的AP（stAP）が0.17%に達し、ベースラインの0.13%比で31%の向上を達成した。
• バリデーションセットでは、stAP25でSOTAを0.02上回り、スカス率で3.8%、リカバリレートで4.1%向上した。
• 誤り解析により、主な誤検出タイプは3つに分類された：類似した外観、曖昧なクエリ、ぼやけたフレーム。それぞれがネガティブフレームトレーニングによって軽減された。