[論文レビュー] TriDet: Temporal Action Detection with Relative Boundary Modeling

Dingfeng Shi, Yujie Zhong+4 more|arXiv (Cornell University)|Mar 13, 2023

Human Pose and Action Recognition被引用数 9

ひとこと要約

TriDet は self-attention を置換する SGP ベースの層と、境界位置推定を強化する Trident-head を導入し、境界局在化とマルチスケール特徴に焦点を当てて時間的アクション検出を改善します。

ABSTRACT

In this paper, we present a one-stage framework TriDet for temporal action detection. Existing methods often suffer from imprecise boundary predictions due to the ambiguous action boundaries in videos. To alleviate this problem, we propose a novel Trident-head to model the action boundary via an estimated relative probability distribution around the boundary. In the feature pyramid of TriDet, we propose an efficient Scalable-Granularity Perception (SGP) layer to mitigate the rank loss problem of self-attention that takes place in the video features and aggregate information across different temporal granularities. Benefiting from the Trident-head and the SGP-based feature pyramid, TriDet achieves state-of-the-art performance on three challenging benchmarks: THUMOS14, HACS and EPIC-KITCHEN 100, with lower computational costs, compared to previous methods. For example, TriDet hits an average mAP of $69.3\%$ on THUMOS14, outperforming the previous best by $2.5\%$, but with only $74.6\%$ of its latency. The code is released to https://github.com/sssste/TriDet.

研究の動機と目的

• 動画バックボーンでの高いシーケンス特徴類似性とそれに起因する self-attention ランク損失を解決する。
• self-attention を CNN 的操作に置換する SGP（Spatial-Global Projection）層を提案する。
• 境界相対確率をモデル化する Trident-head を導入し、境界局在化を改善する。
• THUMOS14 および HACS データセットでの有効性を示し、計算効率を分析する。

提案手法

• self-attention を SGP 層に置換し、重み制約を緩和し、マルチスケールの深さ方向畳み込みで self-attention 効果を模倣する。
• Instant レベルの分岐を実装して、アクション瞬間と非アクション瞬間の識別性を高める。
• 窓レベルの分岐（ψ 成分）を実装して、より広い意味的文脈を捉え、スケール選択を安定化させる。
• Trident-head を提案し、相対的境界確率を学習して境界に焦点を当てつつ内部特徴を考慮する。
• SA ベースのトランスフォーマーや動的フィルタと比較し、標準ベンチマークでの計算コスト（待機時間）と mAP を報告する。

実験結果

リサーチクエスチョン

• RQ1 動画ベースの時間的アクション検出で self-attention に起因するランク損失をどのように緩和できるか。
• RQ2 self-attention を CNN に似た SGP 層に置換すると特徴の識別性と境界局在化は改善されるか。
• RQ3 境界認識型ヘッド（Trident-head）は相対的境界確率を活用してより正確な境界を提供できるか。
• RQ4 THUMOS14 および HACS データセットでの精度と待機時間のトレードオフはどうなるか。

主な発見

• SGP 層は瞬間レベルの識別性を高め、検出性能を向上させる。
• Trident-head は内部特徴を考慮しつつ境界を強調するよう学習し、より正確な境界確率をもたらす。
• HACS では ablations 全体で平均 mAP が 36.3, 38.0, 38.6 の値を報告し、THUMOS14 の結果と整合する。
• トランスフォーマーの大枠構造は self-attention なしでも効果的であり、提案する SGP アプローチを支持する。
• TriDet は純粋な CNN より計算量を増すが、完全な畳み込み構造は self-attention より GPU 効率が高く、待機時間の利点を報告する。