[論文レビュー] LocATe: End-to-end Localization of Actions in 3D with Transformers

Jiankai Sun, Bolei Zhou+2 more|arXiv (Cornell University)|Mar 21, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

LocATeは、3次元人体ポーズ系列を用いて、アクションの期間を検出するとともに分類する、エンドツーエンドのトランスフォーマー基盤の3次元時系列行動局在化（3D-TAL）手法を提案する。長距離時系列依存関係をモデル化するためにスパース自己注意機構とセット予測定式を導入し、PKU-MMDで93.2％の最先端のmAPを達成するとともに、より困難な新ベンチマークBT20を提示した。

ABSTRACT

Understanding a person's behavior from their 3D motion is a fundamental problem in computer vision with many applications. An important component of this problem is 3D Temporal Action Localization (3D-TAL), which involves recognizing what actions a person is performing, and when. State-of-the-art 3D-TAL methods employ a two-stage approach in which the action span detection task and the action recognition task are implemented as a cascade. This approach, however, limits the possibility of error-correction. In contrast, we propose LocATe, an end-to-end approach that jointly localizes and recognizes actions in a 3D sequence. Further, unlike existing autoregressive models that focus on modeling the local context in a sequence, LocATe's transformer model is capable of capturing long-term correlations between actions in a sequence. Unlike transformer-based object-detection and classification models which consider image or patch features as input, the input in 3D-TAL is a long sequence of highly correlated frames. To handle the high-dimensional input, we implement an effective input representation, and overcome the diffuse attention across long time horizons by introducing sparse attention in the model. LocATe outperforms previous approaches on the existing PKU-MMD 3D-TAL benchmark (mAP=93.2%). Finally, we argue that benchmark datasets are most useful where there is clear room for performance improvement. To that end, we introduce a new, challenging, and more realistic benchmark dataset, BABEL-TAL-20 (BT20), where the performance of state-of-the-art methods is significantly worse. The dataset and code for the method will be available for research purposes.

研究の動機と目的

• 局在化と認識を独立して処理する2段階の3D-TAL手法が誤差の伝搬や相互の最適化の欠如を引き起こすという限界を解消する。
• 同一の特徴量セットを用いて、アクション局在化と認識を同時に最適化するエンドツーエンドフレームワークを構築する。
• トランスフォーマー基盤のアーキテクチャを用いて、高次元の3次元ポーズ系列における長距離時系列依存関係をモデル化する課題を克服する。
• 3D-TAL分野のさらなる進展を促進するため、現存するデータセットのパフォーマンスが飽和している状況を超える、現実的で挑戦的な新データセットBABEL-TAL-20（BT20）を提案する。
• 3D-TALにおける入力表現として、2次元動画特徴量や事前学習済み行動認識バックボーンの特徴量よりも、生の3次元関節位置が優れていることを実証する。

提案手法

• モデルが（開始時刻、終了時刻、行動ラベル）のタプル集合を出力するセット予測問題として3D-TALを定式化し、同時に発生する行動のモデル化を可能にする。
• スパース自己注意機構を備えたトランスフォーマー Encoder-Decoder アーキテクチャを用い、3次元ポーズ系列における長距離時系列相関を効率的にモデル化する。
• 8フレームの連続的な3次元関節位置を入力とし、これらを埋め込み処理して自己注意機構を介して短時間および長時間の運動パターンを捉える。
• 2次元特徴量や行動認識用の事前学習済み特徴量に依存せず、3次元関節位置のみを入力として完全に注意機構に依存する設計を実装する。
• 計算コストを低減し、長時間系列における注目度の集中を向上させるために、可変アテンション機構を導入する。
• 評価には最適なバイパーティットマッチングを、下流アプリケーションにおける最終出力の最適化には非最大抑制（NMS）を適用する。

実験結果

リサーチクエスチョン

• RQ1 2段階のアーキテクチャとは異なり、エンドツーエンドのトランスフォーマー基盤モデルが、3D-TALにおけるアクション局在化と認識の両方を同時に向上させられるか？
• RQ2 スパース自己注意機構を用いて3次元ポーズ系列の長距離時系列依存関係をモデル化することで、自己回帰的または2段階ベースラインと比較して性能が向上するか？
• RQ3 2次元動画特徴量や事前学習済み行動認識モデルの特徴量と比較して、生の3次元関節位置入力が3D-TALにおいてより効果的であるか？
• RQ4 3D-TALモデルの性能は、クラス頻度に依存する程度が高く、クラス内分散や行動の複雑さが、データ不足を超えて困難要因として寄与しているか？
• RQ5 BABEL-TAL-20のような現実的で挑戦的な新ベンチマークデータセットは、現在の最先端手法の限界を露呈させることで、3D-TAL分野における進展を効果的に促進できるか？

主な発見

• LocATeはPKU-MMDベンチマークで93.2％の最先端のmAPを達成し、従来の2段階手法を顕著に上回った。
• 新たに導入されたBABEL-TAL-20（BT20）ベンチマークでは、最先端手法のパフォーマンスが顕著に低下しており、BT20がより困難で現実的であることが示された。
• 手や指の関節データが明示的に存在しない状況でも、『何かをつかむ』や『何かを置く』といった複雑な行動を、成功裏に局在化および認識できた。
• アブレーションスタディの結果、3次元関節位置を入力とすると最高のパフォーマンス（BT20でmAP 23.4）を示し、2次元特徴量（14.5）や2S-AGCNの特徴量（21.3–21.4）を上回った。
• 『何かをつかむ』のような一部の行動では再現率が低かったが、頻繁に正しく予測されており、時間的および全身の文脈モデリングが優れていることが示唆された。
• クラス頻度とmAPの間に明確な相関が見られないことから、データ不足を超えて、クラス内分散と行動の複雑さが困難要因として主要因であることが明らかになった。