[論文レビュー] Delving into 3D Action Anticipation from Streaming Videos

Hongsong Wang, Jiashi Feng|arXiv (Cornell University)|Jun 15, 2019

Human Pose and Action Recognition参考文献 47被引用数 5

ひとこと要約

本稿では、ストリーミング動画からの3次元行動予測のための新しいマルチタスク学習フレームワークを提案する。補完的評価指標、最適化されたクリップ長さとサンプリング戦略、および完全な行動表現とクラスに依存しないラベルからの補助的監視を活用する。本手法は、洗練されたマルチタスク損失を用いることで、標準ベンチマークで最先端の性能を達成する。

ABSTRACT

Action anticipation, which aims to recognize the action with a partial observation, becomes increasingly popular due to a wide range of applications. In this paper, we investigate the problem of 3D action anticipation from streaming videos with the target of understanding best practices for solving this problem. We first introduce several complementary evaluation metrics and present a basic model based on frame-wise action classification. To achieve better performance, we then investigate two important factors, i.e., the length of the training clip and clip sampling method. We also explore multi-task learning strategies by incorporating auxiliary information from two aspects: the full action representation and the class-agnostic action label. Our comprehensive experiments uncover the best practices for 3D action anticipation, and accordingly we propose a novel method with a multi-task loss. The proposed method considerably outperforms the recent methods and exhibits the state-of-the-art performance on standard benchmarks.

研究の動機と目的

• ストリーミング動画からの3次元行動予測における最良の実践法を、包括的な評価指標を用いて調査すること。
• トレーニングクリップ長さとクリップサンプリング手法の影響を分析することで、モデル性能を向上させること。
• 完全な行動表現とクラスに依存しない行動ラベルを補助信号として統合したマルチタスク学習戦略を検討すること。
• 最新のアプローチを上回る性能を示す、マルチタスク損失を備えた新規手法を開発すること。

提案手法

• 著者らは、3次元行動予測のためのベースラインとして、フレーム単位の行動分類モデルを導入する。
• トレーニングクリップ長さとクリップサンプリング戦略がモデル性能に与える影響を体系的に評価する。
• 2つの補助的監視信号（完全な行動表現とクラスに依存しない行動ラベル）を統合したマルチタスク学習フレームワークを提案する。
• 行動予測と補助タスクを同時に最適化するマルチタスク損失関数を採用する。
• モデル挙動のより包括的な評価を可能にするために、補完的評価指標を導入する。
• 最終的なモデルは、性能向上の妥当性を検証するために、標準的な3次元行動予測ベンチマークでトレーニングおよび評価される。

実験結果

リサーチクエスチョン

• RQ1 異なるトレーニングクリップ長さとサンプリング手法は、3次元行動予測性能にどのように影響するか？
• RQ2 補助信号として完全な行動表現を組み込むことで、行動予測にどのような影響があるか？
• RQ3 クラスに依存しない行動ラベルを補助タスクとして使用することで、予測性能はどのように向上するか？
• RQ4 どのトレーニング戦略と損失関数の組み合わせが、標準ベンチマークで最高の性能を達成するか？

主な発見

• クリップ長さとサンプリング戦略の最適化により、3次元行動予測の性能が顕著に向上する。
• 完全な行動表現を補助タスクとして組み込むことで、モデルの一般化能力と行動予測能力が向上する。
• クラスに依存しない行動ラベルを補助信号として使用することで、予測精度がさらに向上する。
• 専用のマルチタスク損失を備えた提案されたマルチタスク学習手法は、標準ベンチマークで最先端の性能を達成する。