[論文レビュー] Relaxed Transformer Decoders for Direct Action Proposal Generation

Jing Tan, Jiaqi Tang+2 more|arXiv (Cornell University)|Feb 3, 2021

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、アンカーベースおよびヒューリスティックマッチング手法に代わり、境界に注目するエンコーダ、緩やかなマッチング方式、および3本の検出ヘッドを備えた、直接的時間行動候補生成を目的とした緩和型トランスフォーマー・デコーダフレームワーク、RTD-Netを提案する。本手法は、THUMOS14およびActivityNet-1.3で最先端の性能を達成し、非最大抑制（NMS）を必要とせず、より高速な推論が可能である。

ABSTRACT

Temporal action proposal generation is an important and challenging task in video understanding, which aims at detecting all temporal segments containing action instances of interest. The existing proposal generation approaches are generally based on pre-defined anchor windows or heuristic bottom-up boundary matching strategies. This paper presents a simple and efficient framework (RTD-Net) for direct action proposal generation, by re-purposing a Transformer-alike architecture. To tackle the essential visual difference between time and space, we make three important improvements over the original transformer detection framework (DETR). First, to deal with slowness prior in videos, we replace the original Transformer encoder with a boundary attentive module to better capture long-range temporal information. Second, due to the ambiguous temporal boundary and relatively sparse annotations, we present a relaxed matching scheme to relieve the strict criteria of single assignment to each groundtruth. Finally, we devise a three-branch head to further improve the proposal confidence estimation by explicitly predicting its completeness. Extensive experiments on THUMOS14 and ActivityNet-1.3 benchmarks demonstrate the effectiveness of RTD-Net, on both tasks of temporal action proposal generation and temporal action detection. Moreover, due to its simplicity in design, our framework is more efficient than previous proposal generation methods, without non-maximum suppression post-processing. The code and models are made available at https://github.com/MCG-NJU/RTD-Action.

研究の動機と目的

• アンカーベースおよび境界マッチング手法の限界を解消すること。これらの手法は手作業で設計されており、ノイズに敏感である。
• 動画行動候補生成に向けたトランスフォーマー・アーキテクチャの適応を図ること。特徴量の遅れや曖昧な時間的境界といった課題を克服する。
• 3本のヘッドによる一貫した候補スコアリングを学習することで、非最大抑制（NMS）の必要性を排除すること。
• tIoU推定ヘッドを明示的に導入することで、完全性をモデル化し、候補の質を向上させること。
• エンド・トゥ・エンドの学習と推論が可能なセット予測パラダイムを用いて、候補生成パイプラインを簡素化すること。

提案手法

• 標準的なトランスフォーマー・エンコーダを、長距離時間的依存性をよりよく捉え、遅い特徴量の変化に起因する過剰平滑化を軽減する境界に注目するモジュールに置き換える。
• 1つの正例に対して複数の予測を割り当てを許容する緩やかなマッチング方式を導入し、曖昧またはノイズの多いアノテーションの悪影響を軽減する。
• ボックス座標、分類スコア、および完全性スコア（tIoU）を同時に予測する3本の検出ヘッドを設計し、候補の信頼性推定を向上させる。
• 完全性ヘッドにtIoU損失を適用することで、訓練を正則化し、より正確で完全な候補を指向する。
• 緩いマッチングを組み込んだセット基準を用いてエンド・トゥ・エンドでモデルを学習し、アンカー生成や後処理を経ずに直接行動候補を予測可能にする。
• デコーダにおける自己注意機構を活用し、候補間の関係をグローバルにモデル化することで、文脈的推論により局所化精度を向上させる。

Figure 2: Pipeline of RTD-Net. Our RTD-Net streamlines the process of temporal action proposal generation by viewing it as a direct set prediction problem. It is composed of three unique designs: a boundary-attentive module for feature extraction, a transformer decoder for direct and parallel decodi

実験結果

リサーチクエスチョン

• RQ1 アンカーおよびヒューリスティックマッチング機構を回避するトランスフォーマー基盤のアーキテクチャが、動画における直接的時間行動候補生成に効果的に適応可能か？
• RQ2 動画特徴量の固有の遅れや曖昧な時間的境界を、トランスフォーマー基盤のフレームワーク内でどのように克服できるか？
• RQ3 緩いマッチング戦略は、候補生成における厳密な1対1割り当てと比較して、訓練の安定性および一般化性能を向上させるか？
• RQ4 tIoU損失による明示的な完全性推定は、候補の質を向上させ、NMSの必要性を排除できるか？
• RQ5 標準ベンチマーク上でのアンカーベースおよびボトムアップ境界ベース手法と比較して、本フレームワークの効率性と精度はどのように異なるか？

主な発見

• RTD-Netは、ActivityNet-1.3でAR@100が61.11%、HACS SegmentsでAR@1が16.34%を達成し、100件のクエリのみでBASよりAR@1に優れた性能を示したが、提案数は少ない。
• HACS SegmentsではAUCが53.41%を記録し、BASと同等のAUCを達成しながらもNMSを不要としており、少ない提案数でも高い効率性を示した。
• 初期統合RGBとオプティカルフロー特徴量を用いることで、THUMOS14でのAR@50が41.52%に向上し、RGBのみ（37.28%）やフローのみ（38.75%）の特徴量を上回った。
• 完全性ヘッドは候補の質を顕著に向上させ、スコアが常に品質順に候補をランク付けでき、NMSフリーの推論を可能にした。
• 緩いマッチャーは収束性と一般化性能を向上させ、特にノイズや曖昧なアノテーションを含むデータセットにおいて顕著であった。
• 境界に注目するエンコーダは、遅い特徴量の変化に起因する過剰平滑化を効果的に軽減し、境界局所化の精度を向上させた。

Figure 3: Qualitative results of RTD-Net on THUMOS14. The proposals shown are the top predictions for corresponding groundtruths based on the scoring scheme for each model.