[論文レビュー] Self-supervised Video Representation Learning by Uncovering Spatio-temporal Statistics

Jiangliu Wang, Jianbo Jiao+4 more|arXiv (Cornell University)|Aug 31, 2020

Human Pose and Action Recognition参考文献 82被引用数 23

ひとこと要約

本論文は、ラベルなし動画クリップから、支配的運動領域およびその方向、最も色多様性が高くまたは安定した領域といった空間時間的統計的要約を解き明かす自己教師あり動画表現学習手法を提案する。空間的パーティショニングを用いて粗い位置を符号化し、3次元畳み込みニューラルネットワーク（3D CNN）を用いてこれらの抽象的統計を予測するように訓練することで、複数のバックボーンでアクション認識、動画検索、動的シーン認識、アクション類似性ラベル付けの分野において最先端性能を達成した。C3Dでは、先行する自己教師あり手法を最大8.1%上回った。

ABSTRACT

This paper proposes a novel pretext task to address the self-supervised video representation learning problem. Specifically, given an unlabeled video clip, we compute a series of spatio-temporal statistical summaries, such as the spatial location and dominant direction of the largest motion, the spatial location and dominant color of the largest color diversity along the temporal axis, etc. Then a neural network is built and trained to yield the statistical summaries given the video frames as inputs. In order to alleviate the learning difficulty, we employ several spatial partitioning patterns to encode rough spatial locations instead of exact spatial Cartesian coordinates. Our approach is inspired by the observation that human visual system is sensitive to rapidly changing contents in the visual field, and only needs impressions about rough spatial locations to understand the visual contents. To validate the effectiveness of the proposed approach, we conduct extensive experiments with four 3D backbone networks, i.e., C3D, 3D-ResNet, R(2+1)D and S3D-G. The results show that our approach outperforms the existing approaches across these backbone networks on four downstream video analysis tasks including action recognition, video retrieval, dynamic scene recognition, and action similarity labeling. The source code is publicly available at: https://github.com/laura-wang/video_repres_sts.

研究の動機と目的

• 教師あり動画学習の限界、すなわち高価な人間によるアノテーションを必要とし、タスク固有の表現を生成し、一般化性に欠けることに対処するため。
• 人間によるアノテーションラベルが不要な、汎用的かつ一般化可能な動画表現を学習する自己教師ありプロキシタスクを開発するため。
• 高レベルの統計的要約に焦点を当てることで、密度的なピクセルレベルの予測よりも学習効率と表現品質を向上させるため。
• 人間の視覚系の知見（急速な変化への感受性、粗い空間的認識）を活用し、より生物学的に妥当で効果的な表現学習目的を設計するため。
• 多様な下流タスクおよびバックボーンアーキテクチャを対象に本手法を検証し、堅牢性と一般化性能を示すため。

提案手法

• 本手法は、ラベルなし動画クリップから空間時間的統計的要約を抽出する新しいプロキシタスクを設計する。具体的には、最大の運動を持つ領域とその方向、色多様性が最も高いまたは安定した領域とその支配的色を含む。
• 正確なデカルト座標ではなく、グリッドやランダムなどの複数のパーティショニングパターンを用いて空間的位置を符号化することで、人間の認識における粗い空間的認識を反映する。
• 3次元畳み込みニューラルネットワーク（例：C3D、3D-ResNet、R(2+1)D、S3D-G）を、入力フレームからこれらの統計的ラベルを予測するように訓練する。要約を教師信号として用いる。
• 訓練の容易化と表現品質の向上を図るため、空間的パーティショニングパターンの複雑さを段階的に増加させるカリキュラム学習戦略を適用する。
• 別々のブランチを用いて、運動統計（例：運動の大きさと方向）と外観統計（例：色多様性の高い領域における支配的色）の両方を学習することで、外観と運動の統合表現を学習する。
• 最終的な動画表現は、ネットワークの最終層から抽出され、微調整なしに下流タスクの特徴として直接使用される。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし動画から高レベルの空間時間的統計的要約を学習することは、より汎用的で一般化可能な動画表現を生成できるか？
• RQ2 急速な変化や粗い空間的位置への人間の視覚系の感受性をモデル化することは、自己教師あり動画表現学習を向上させられるか？
• RQ3 密度的な予測に基づく自己教師あり手法（例：未来フレーム予測、フレーム順序予測）よりも、抽象的統計的要約に基づくプロキシタスクが優れているか？
• RQ4 本手法は、アクション認識、動画検索、アクション類似性ラベル付けといった多様な下流タスクに一般化できるか？
• RQ5 空間的パーティショニングの複雑さに基づくカリキュラム学習戦略は、最終的な表現品質を向上させるか？

主な発見

• 本手法は、アクション認識で最先端性能を達成し、C3Dでは先行する最先端手法Geometry [16] を8.1%上回り、R3D-18では6.0%、R(2+1)Dでは7.4%上回った。
• 動画検索では、S3D-Gバックボーンを用いてKinetics-400でトップ1正解率89.4%を達成し、先行する自己教師あり手法を上回った。
• 動的シーン認識では、C3Dを用いて95.0%、R(2+1)Dを用いて94.3%の正解率を達成し、先行する自己教師ありおよび手作業特徴抽出手法を大きく上回った。
• 挑戦的なASLANアクション類似性ラベル付けベンチマークでは、R(2+1)Dを用いて62.1%の正解率を達成し、HOF や HOG といった手作業特徴を上回る新しい自己教師ありベースラインを確立した。
• 本手法は強力な一般化性能を示した。C3D、R3D-18、R(2+1)D、S3D-Gといった異なるバックボーンでも一貫して高い性能を示しており、アーキテクチャ選択に対して堅牢であることが示された。
• アブレーションスタディにより、複雑さを段階的に増加させるカリキュラム学習が性能向上に寄与することが確認され、段階的教師信号の設計が有効であることが裏付けられた。