[論文レビュー] A flexible model for training action localization with varying levels of supervision

Guilhem Chéron, Jean-Baptiste Alayrac+2 more|arXiv (Cornell University)|Jun 29, 2018

Human Pose and Action Recognition被引用数 25

ひとこと要約

本論文は、動画レベルのラベルからフレーム単位のアノテーションまで、さまざまな監視レベルに適応可能な柔軟で判別的なクラスタリングベースのフレームワークを提案する。弱い監視信号を最適化制約として統合することで、UCF101-24 および DALY で競争力ある性能を達成し、アノテーション作業を大幅に削減した。完全監視設定では 50.1% の mAP@0.5 を達成し、弱い監視と強い監視を組み合わせることで顕著な性能向上を示した。

ABSTRACT

Spatio-temporal action detection in videos is typically addressed in a fully-supervised setup with manual annotation of training videos required at every frame. Since such annotation is extremely tedious and prohibits scalability, there is a clear need to minimize the amount of manual supervision. In this work we propose a unifying framework that can handle and combine varying types of less-demanding weak supervision. Our model is based on discriminative clustering and integrates different types of supervision as constraints on the optimization. We investigate applications of such a model to training setups with alternative supervisory signals ranging from video-level class labels to the full per-frame annotation of action bounding boxes. Experiments on the challenging UCF101-24 and DALY datasets demonstrate competitive performance of our method at a fraction of supervision used by previous methods. The flexibility of our model enables joint learning from data with different levels of annotation. Experimental results demonstrate a significant gain by adding a few fully supervised examples to otherwise weakly labeled videos.

研究の動機と目的

• すべての行動に対してフレーム単位のバウンディングボックスアノテーションを必要とする完全監視型行動局所化の高コストなアノテーションを低減すること。
• 密なフレームレベルのアノテーションが煩雑で誤りを引き起こしやすいことによる、現在の完全監視型手法のスケーラビリティの制限を克服すること。
• 動画レベルのラベル、時間的ポイント、スパースなバウンディングボックスなど、複数の種類の弱い監視を統合して処理できる統一されたフレームワークを開発すること。
• 少数の完全アノテート済み動画と弱いラベルを組み合わせることで、性能が顕著に向上することを実証すること。
• 完全監視設定でも高い性能を示すように、弱い監視を主眼に設計されたモデルが、すべての監視レベルで公平に比較可能であることを保証すること。

提案手法

• 行動局所化を、人間のトラックレットを行動クラスにマッピングするラベル割り当て行列 Y を推定する判別的クラスタリング問題として定式化する。
• 複数の動画にわたるトラックレットの一貫性と判別性を最適化する統一された目的関数 h(Y) を定義する。
• 動画レベルのラベル、時間的ポイント、バウンディングボックスなどのさまざまな監視タイプを、目的関数を変更せずに最適化制約 Y_s として統合する。
• より強い監視（例：完全なバウンディングボックス）がより厳しい制約を課し、弱い監視（例：動画レベルのラベル）より厳密に制御される階層的制約構造を採用することで、段階的な最適化を可能にする。
• オフザシェルの人物検出器とトラッカーを用いてトラックレットを抽出することで、密な空間的アノテーションへの依存度を低減する。
• I3D 特徴量上で線形分類器を学習するが、今後の研究で非線形モデルへの拡張も可能であり、すべての監視レベルで性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 1つの統一モデルが、行動局所化のための複数の種類の弱い監視を効果的に統合・処理できるか？
• RQ2 動画レベルのラベルからフレーム単位のアノテーションまで、さまざまな監視レベルにおける性能の変動はどの程度か？
• RQ3 少数の完全アノテート済み動画に加えて、弱い監視（例：動画レベルや時間的ポイント）を組み合わせることで、性能をどの程度向上できるか？
• RQ4 本手法は、主に弱い監視を想定して設計されているが、完全監視設定でも競争力ある性能を維持できるか？
• RQ5 どの程度の最小限のアノテーション作業で強力な局所化性能が達成できるか？また、監視レベルを混合することで、その必要アノテーション量はどの程度変化するか？

主な発見

• 完全監視設定下で UCF101-24 で 50.1% の mAP@0.5 を達成し、kalogeiton17iccv（49.2%）と同等の性能を示し、gu2017ava（59.9%）に近い水準に達している。
• 完全アノテート済み動画をたった 20 個（学習データの約 5%）とし、残りは動画レベルのラベルで構成した場合、DALY で 18.2% の mAP@0.2 を達成し、完全監視設定で 40% の完全ラベルデータを使用した場合と同等の性能を示した。
• 時間的ポイント監視（例：各行動に対して1回のクリック）を用いることで、動画レベルのラベルのみに比べて局所化精度が向上し、行動境界の曖昧さが低減された。
• 監視レベルを混合すること（例：動画レベルのラベルと少数の完全アノテート済み動画の組み合わせ）により顕著な性能向上が得られ、ハイブリッドアノテーション戦略の実用的価値を示した。
• 従来の弱い監視ベースライン（weinzaepfel2016towards）を上回り、その手法から得たトラックレットを用いた場合、UCF101-24 で 53.1% の動画レベル mAP（ベースラインは 37.4%）を達成した。
• フレームワークにより、すべての監視レベルで公平な比較が可能となり、アノテーション密度に関係なく同じモデルアーキテクチャが優れた性能を示した。これにより、柔軟性と頑健性が裏付けられた。