[論文レビュー] Boundary-Denoising for Video Activity Localization

Mengmeng Xu, Mattia Soldan+4 more|arXiv (Cornell University)|Apr 6, 2023

Human Pose and Action Recognition被引用数 5

ひとこと要約

本論文では、訓練中に制御されたノイズを正例のアクティビティスパンに注入することで、局所化精度と収束速度を向上させる、動画アクティビティ局所化のための新しい境界ノイズ除去訓練パラダイムである DenoiseLoc を提案する。この手法は、QV-Highlights (+12.36% mAP) および MAD データセットにおいて、顕著に少ない提案数（1 ビデオあたり 30 個）で最先端の性能を達成し、計算コストを低減しながらも、既存手法を上回る性能を発揮する。

ABSTRACT

Video activity localization aims at understanding the semantic content in long untrimmed videos and retrieving actions of interest. The retrieved action with its start and end locations can be used for highlight generation, temporal action detection, etc. Unfortunately, learning the exact boundary location of activities is highly challenging because temporal activities are continuous in time, and there are often no clear-cut transitions between actions. Moreover, the definition of the start and end of events is subjective, which may confuse the model. To alleviate the boundary ambiguity, we propose to study the video activity localization problem from a denoising perspective. Specifically, we propose an encoder-decoder model named DenoiseLoc. During training, a set of action spans is randomly generated from the ground truth with a controlled noise scale. Then we attempt to reverse this process by boundary denoising, allowing the localizer to predict activities with precise boundaries and resulting in faster convergence speed. Experiments show that DenoiseLoc advances %in several video activity understanding tasks. For example, we observe a gain of +12.36% average mAP on QV-Highlights dataset and +1.64% mAP@0.5 on THUMOS'14 dataset over the baseline. Moreover, DenoiseLoc achieves state-of-the-art performance on TACoS and MAD datasets, but with much fewer predictions compared to other current methods.

研究の動機と目的

• アクティビティの境界が時間的に連続的で主観的であるという動画アクティビティ局所化における境界曖昧性の課題に対処する。
• 境界予測をノイズ除去タスクとして扱うことで、モデルの収束速度と局所化精度を向上させる。
• 性能に損なわれることなく、必要な提案数を削減し、効率的な推論を可能にする。
• 手作業による提案設計を必要とせず、多様な動画ドメイン（例：YouTube、エゴセントリック動画）に一般化可能なアプローチを実現する。
• 最小限の計算オーバーヘッドで、複数のベンチマークで最先端の性能を達成する。

提案手法

• 訓練中に制御されたノイズスケールを用いて正例からノイズの入ったアクティビティスパンを生成するノイズ除去訓練パラダイムを提案する。
• クロスモodal相互作用を捉えるトランスフォーマー基盤のエンコーダーと、複数層にわたる提案の微調整を行うデコーダーを備えたエンコーダ-デコーダー構造のモデルを設計する。
• デコーダーにおける反復的リファインメントにより、局所化に敏感な特徴を用いて、提案の埋め込みとスパンを更新し、段階的にノイズを除去する。
• ノイズの入った初期スパンから正確な境界を回復するよう促す、時間的スパンノイズ除去目的関数を導入する。
• 標準版および拡散ベースの変種（DiffusionLoc）の両方のアーキテクチャにこの手法を適用し、生成性能を向上させるために時間条件付き埋め込みを組み込む。
• DDPM に類似したノイズスケジュールを用い、ノイズレベルは時間ステップ $t$ で制御する。実用的なデプロイのため、単一ステップ推論を採用する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去に基づく訓練目的関数は、動画理解における境界局所化精度の向上に寄与するか？
• RQ2 正例スパンに制御されたノイズを注入することで、モデルの収束速度が向上し、一般化性能が向上するか？
• RQ3 1 ビデオあたり 30 個の提案のみで、数千個の提案を用いる手法を上回る性能を達成できるか？
• RQ4 エゴセントリック動画や長時間の動画を含む多様な動画ドメインに、境界ノイズ除去アプローチは一般化できるか？
• RQ5 ハンガリアンマッチャーの制限がリコール指標に与える影響はどの程度か？また、ノイズ除去フレームワークはこれを緩和できるか？

主な発見

• DenoiseLoc は、ベースラインと比較して QV-Highlights データセットで平均 mAP が +12.36% 向上した。
• MAD データセットでは、Recall@1 が 2.69% 向上し、平均 mAP が 6.84% 向上し、最先端の性能を達成した。
• THUMOS’14 データセットでは、DenoiseLoc はベースラインと比較して mAP@0.5 で +1.64% の向上を示した。
• 1 ビデオあたり 30 個の提案しか使用しなくても、DenoiseLoc は数千個の提案を用いる手法と同等またはそれ以上の性能を発揮した。
• 図 1 に示される訓練ダイナミクスから、DenoiseLoc はベースライン手法よりも高速に収束することが確認された。
• 拡散ベースの変種である DiffusionLoc は有望であるが、推論時の負のスパン回復に不安定さが見られたため、さらなる検討が必要である。