[論文レビュー] Two Stream Self-Supervised Learning for Action Recognition

Ahmed Taha, Moustafa Meshry+3 more|arXiv (Cornell University)|Jun 16, 2018

Human Pose and Action Recognition参考文献 3被引用数 6

ひとこと要約

この論文では、フレーム順序と空間的・時間的対応関係を含む4クラス分類タスクとして定式化することで、空間的および時間的表現を共同で学習する2ストリーム自己教師あり学習フレームワークを提案する。HMDB51、UCF101、HDDにおいて、ランダム初期化よりも一貫した精度向上を示しており、特に長尾分布において優れた一般化性能を発揮している。

ABSTRACT

We present a self-supervised approach using spatio-temporal signals between video frames for action recognition. A two-stream architecture is leveraged to tangle spatial and temporal representation learning. Our task is formulated as both a sequence verification and spatio-temporal alignment tasks. The former task requires motion temporal structure understanding while the latter couples the learned motion with the spatial representation. The self-supervised pre-trained weights effectiveness is validated on the action recognition task. Quantitative evaluation shows the self-supervised approach competence on three datasets: HMDB51, UCF101, and Honda driving dataset (HDD). Further investigations to boost performance and generalize validity are still required.

研究の動機と目的

• 行動認識におけるラベル付き動画データの不足に取り組むために、大規模なラベルなし動画を活用して事前学習を行う。
• 自己教師ありの方法で空間特徴と動き信号を統合することで、時間的表現学習を向上させる。
• HDDのような長尾データセットにおいて、高頻度クラスへのバイアスを低減するため、より良い特徴学習を実現する。
• 教師なしの監視なし条件下で、2ストリームアーキテクチャを用いた空間的・時間的表現学習の有効性を検証する。

提案手法

• 2ストリームニューラルネットワークアーキテクチャを用い、空間タワーは中央のRGBフレームを処理し、動きタワーは6つの等間隔フレーム間の差分画像（SOD）のスタックを処理する。
• 両タワーからの特徴量は、fc6層で差分をとることで統合され、空間的・時間的表現が生成される。
• 自己教師ありタスクは4クラス分類問題として定式化され、フレームとその動き符号化の間の有効性および空間的・時間的対応関係を特定する。
• 70フレーム（約2.5秒）のトレーニングクリップをサンプリングし、空間タワーはImageNet事前学習重みで初期化され、動きタワーはランダム初期化から学習を開始する。
• 事前学習モデルは、追加のアノテーションなしで、下流の行動認識データセットに対して微調整される。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータにおける行動認識性能を向上させるために、空間的および時間的表現の共同自己教師あり学習が有効であるか？
• RQ2 提案された空間的・時間的整合性タスクは、HDDのような長尾データセットにおける高頻度クラスへのバイアスを低減するか？
• RQ3 標準ベンチマークにおいて、自己教師あり事前学習の性能はランダム重み初期化と比べてどのように異なるか？
• RQ4 動き符号化を用いた2ストリームアーキテクチャは、動きのみの自己教師あり手法と比較して、どの程度特徴学習を向上させるか？

主な発見

• 自己教師ありアプローチは、HMDB51で平均33.54%の精度を達成し、ランダム初期化（31.47%）よりも2.07%の向上を示した。
• UCF101では56.25%の精度を達成し、ランダム重み（52.14%）よりも4.11%の向上を示した。
• 長尾分布を示すHonda Driving Dataset（HDD）では、自己教師あり手法が82.78%の精度を達成し、ランダム初期化（81.72%）を上回り、レアイベントへのバイアスが低減された。
• トレーニング損失曲線から、ImageNet事前学習済み空間タワーは小さなデータセットでは急速に過学習する傾向があることが示され、自己教師あり事前学習が学習の安定化に寄与することが示唆された。
• 3つの多様なデータセットにわたる一貫した性能向上は、提案手法のロバスト性および一般化能力を示している。