[論文レビュー] PointTAD: Multi-Label Temporal Action Detection with Learnable Query Points

Jing Tan, Xiaotong Zhao+3 more|arXiv (Cornell University)|Oct 20, 2022

Human Pose and Action Recognition被引用数 11

ひとこと要約

PointTAD は、アクション境界およびインスタンス内での判別フレームを局所化するために学習可能なクエリポイントを用いたスパースなクエリベースのフレームワークを提案する。マルチレベル相互作用モジュールと動的カーネルを統合することで、RGB 入力のみを用いても2つのベンチマークで最先端の検出 mAP 性能を達成し、従来手法を顕著に上回る性能を発揮する。

ABSTRACT

Traditional temporal action detection (TAD) usually handles untrimmed videos with small number of action instances from a single label (e.g., ActivityNet, THUMOS). However, this setting might be unrealistic as different classes of actions often co-occur in practice. In this paper, we focus on the task of multi-label temporal action detection that aims to localize all action instances from a multi-label untrimmed video. Multi-label TAD is more challenging as it requires for fine-grained class discrimination within a single video and precise localization of the co-occurring instances. To mitigate this issue, we extend the sparse query-based detection paradigm from the traditional TAD and propose the multi-label TAD framework of PointTAD. Specifically, our PointTAD introduces a small set of learnable query points to represent the important frames of each action instance. This point-based representation provides a flexible mechanism to localize the discriminative frames at boundaries and as well the important frames inside the action. Moreover, we perform the action decoding process with the Multi-level Interactive Module to capture both point-level and instance-level action semantics. Finally, our PointTAD employs an end-to-end trainable framework simply based on RGB input for easy deployment. We evaluate our proposed method on two popular benchmarks and introduce the new metric of detection-mAP for multi-label TAD. Our model outperforms all previous methods by a large margin under the detection-mAP metric, and also achieves promising results under the segmentation-mAP metric. Code is available at https://github.com/MCG-NJU/PointTAD.

研究の動機と目的

• 従来の多ラベル TAD 手法がフレーム単位分類として扱うという限界に対処する。これはインスタンスレベルの局所化を欠いている。
• 未編集動画における同時に発生するアクションインスタンスと、細分化されたクラス識別を克服する。
• アクション境界と意味的キーフレームの柔軟なエンド・ツー・エンド学習を可能にする、スパースなクエリベースの検出フレームワークを提案する。
• 動的カーネルを用いて、ポイントレベルとインスタンスレベルの両方のアクション意味を捉えるマルチレベル相互作用モジュールを設計する。
• 後処理を必要としない、効果的でデプロイに適したアクション検出を、RGB 動画入力のみで実現する。

提案手法

• 回帰損失による直接的監視を通じて、判別フレーム（アクション境界およびアクションセグメント内）に注目する学習可能なクエリポイントのセットを導入する。
• 動的カーネルを備えた可変型畳み込みを用いて、各クエリポイント周辺の局所的時系列特徴を抽出し、アクション変化検出のための時系列推論を強化する。
• フレーム単位およびチャネル単位の動的ミキシングを用いて、ポイントレベル特徴とインスタンスレベル表現を統合するマルチレベル相互作用モジュールを設計する。
• バックボーンとデコーダーの間で共同最適化を採用することで、後処理を必要としないエンド・ツー・エンド学習を実現する。
• 局所化精度を向上させるために、回帰オフセットをアクション期間に対してスケーリングする。
• スパース検出出力と密度のあるセグメンテーションスコアを組み合わせるための結果統合戦略を採用し、可学習パラメータ β を用いることで、セグメンテーション mAP を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スパースなクエリベースの検出フレームワークは、多ラベル未編集動画における複数の同時に発生するアクションインスタンスを効果的に局所化できるか？
• RQ2 学習可能なクエリポイントは、細分化された識別を可能にするために、アクション内での境界フレームと意味的キーフレームを同時に捉えることができるか？
• RQ3 マルチレベル相互作用モジュールは、ポイントレベルとインスタンスレベルの意味を統合することで、どの程度アクション表現を向上させるか？
• RQ4 RGB 入力のみでエンド・ツー・エンド学習を実行した場合、補助的監視や複雑なアーキテクチャに依存する従来手法と比較して、性能が顕著に優れているか？
• RQ5 アクション期間に対して回帰オフセットをスケーリングすることで、ポイントベース TAD における局所化精度にどのような影響を与えるか？

主な発見

• PointTAD は、MultiTHUMOS および Charades ベンチマークの両方で最先端の検出 mAP 性能を達成し、それぞれ 36.4% および 21.0% の mAP を記録した。これは従来手法を顕著に上回る。
• MultiTHUMOS では、PointTAD が 36.4% の検出 mAP を達成し、前回の SOTA 手法を 5 パcentage point 以上上回った。
• Charades では、PointTAD が 21.0% の検出 mAP を達成し、日常的な屋内活動への強い汎化性能を示した。
• アブレーションスタディにより、アクション期間に応じて回帰オフセットをスケーリングすることで局所化性能が向上することが確認され、設計選択の妥当性が裏付けられた。
• MultiTHUMOS では β = 0.2、Charades では β = 0.96 を用いることで、スパース検出出力と密度スコアの融合により、競争力のあるセグメンテーション mAP 結果が得られた。
• 可視化結果から、クエリポイントがデコーダーの各レイヤーを経て初期の中央位置から、アクション境界および意味的キーフレームの正確な位置へ収束することが示された。