[論文レビュー] Video 3D Sampling for Self-supervised Representation Learning

Wei Li, Dezhao Luo+3 more|arXiv (Cornell University)|Jul 8, 2021

Human Pose and Action Recognition参考文献 35被引用数 10

ひとこと要約

本稿では、空間的（幅、高さ）および時間的（時間）次元を活用して、包括的な時空間特徴を学習する自己教師あり表現学習手法であるVideo 3D Sampling（V3S）を提案する。3次元すべてにスケールおよびプロジェクション変換を適用することで、V3Sはアクション認識、動画検索、アクション類似性ラベリングの性能を向上させ、UCF101、HMDB51、ASLANで顕著な差をつけて最先端性能を達成した。

ABSTRACT

Most of the existing video self-supervised methods mainly leverage temporal signals of videos, ignoring that the semantics of moving objects and environmental information are all critical for video-related tasks. In this paper, we propose a novel self-supervised method for video representation learning, referred to as Video 3D Sampling (V3S). In order to sufficiently utilize the information (spatial and temporal) provided in videos, we pre-process a video from three dimensions (width, height, time). As a result, we can leverage the spatial information (the size of objects), temporal information (the direction and magnitude of motions) as our learning target. In our implementation, we combine the sampling of the three dimensions and propose the scale and projection transformations in space and time respectively. The experimental results show that, when applied to action recognition, video retrieval and action similarity labeling, our approach improves the state-of-the-arts with significant margins.

研究の動機と目的

• 既存の自己教師あり動画手法が空間的意味論や運動方向を十分に活用していないこと、主に時間的信号に依存しているという制限を是正すること。
• 自己教師あり事前学習を効果的に行うために、動画の意味的構造を保持する手法を開発すること。
• 運動方向と空間的意味論が、統合的でマルチタスクなフレームワーク内での動画表現学習に果たす貢献を明らかにすること。
• 自己教師あり事前学習を用いて、アクション認識、動画検索、アクション類似性ラベリングの下流タスク性能を向上させること。
• UCF101のような小規模データセットから、単純ながらも効果的な事前学習タスクを用いて高品質な表現を学習できることを示すこと。

提案手法

• V3Sは、幅（W）、高さ（H）、時間（T）の3次元にわたるサンプリングを実行し、時空間的情報を抽出する。
• 空間的学習では、物体のサイズや運動方向を変更するために、空間的スケーリングおよび空間的プロジェクションを適用する。
• 時間的学習では、運動速度やその変化パターンを変更するために、時間的スケーリングおよび段階的高速前進サンプリングを用いる。
• 変換を自己教師あり対照学習の教師信号として用いるマルチタスク学習フレームワークを構築する。
• 過度なフレーム削除を避けることで、速度上昇に伴う意味的損失を最小限に抑える段階的高速前進戦略を採用する。
• モデルはKinetics-400で事前学習され、下流タスクでは線形評価プロトコルを用いて微調整される。

実験結果

リサーチクエスチョン

• RQ1 運動方向と空間的意味論は、自己教師あり動画表現学習において効果的な教師信号として活用可能か？
• RQ2 幅、高さ、時間の3次元にわたるサンプリングは、純粋に時間的または空間的プリテキストタスクと比較して、特徴品質をどのように向上させるか？
• RQ3 スケールおよびプロジェクション変換に基づく自己教師あり手法が、下流の動画理解タスクで最先端性能を達成できるか？
• RQ4 フレームシャッフルやキューブパズル法と比較して、V3Sはデータ拡張中に意味的構造をどの程度効果的に保持できるか？
• RQ5 UCF101のような小規模データセットにおいて、V3Sは自己教師ありと教師あり事前学習の性能差を縮小できるか？

主な発見

• C3Dを用いたV3SはUCF101でトップ1精度78.3%を達成し、先行する自己教師あり手法を上回り、新たなSOTAを樹立した。
• HMDB51では、R3Dを用いたV3Sが65.4%の精度を達成し、前回SOTAの60.9%を大きく上回った。
• 動画検索タスクでは、R3Dを用いたV3Sがトップ1精度65.4%を記録し、トップ1からトップ50までの全指標で先行手法を上回った。
• ASLANのアクション類似性ラベリングベンチマークでは、R3Dを用いたV3Sが最高精度を記録し、自己教師ありと教師あり手法の差を縮めた。
• Grad-CAMの可視化により、V3Sがアーチェリーにおける手の動きや投球動作などの運動ダイナミクスと整合する注釈マップを学習していることが確認された。
• 段階的高速前進サンプリング戦略は、意味的コンテンツを効果的に保持するとともに、速度予測学習の強靭性を高めている。