[論文レビュー] Self-supervised Motion Learning from Static Images

Ziyuan Huang, Shiwei Zhang+4 more|arXiv (Cornell University)|Apr 1, 2021

Human Pose and Action Recognition参考文献 58被引用数 7

ひとこと要約

この論文では、方向と速度の変化を加えることで静的画像から疑似運動を生成することにより、動画モデルが直接的に運動表現を学習できる自己教師ありフレームワークMoSIを提案する。静的マスクを導入して局所的な運動パターンに一貫性を持たなくすることで、MoSIはモデルが顕著な運動領域に注目するよう強制し、微調整なしでUCF101やHMDB51といったアクション認識ベンチマークで最先端の性能を達成する。

ABSTRACT

Motions are reflected in videos as the movement of pixels, and actions are essentially patterns of inconsistent motions between the foreground and the background. To well distinguish the actions, especially those with complicated spatio-temporal interactions, correctly locating the prominent motion areas is of crucial importance. However, most motion information in existing videos are difficult to label and training a model with good motion representations with supervision will thus require a large amount of human labour for annotation. In this paper, we address this problem by self-supervised learning. Specifically, we propose to learn Motion from Static Images (MoSI). The model learns to encode motion information by classifying pseudo motions generated by MoSI. We furthermore introduce a static mask in pseudo motions to create local motion patterns, which forces the model to additionally locate notable motion areas for the correct classification.We demonstrate that MoSI can discover regions with large motion even without fine-tuning on the downstream datasets. As a result, the learned motion representations boost the performance of tasks requiring understanding of complex scenes and motions, i.e., action recognition. Extensive experiments show the consistent and transferable improvements achieved by MoSI. Codes will be soon released.

研究の動機と目的

• 動画認識モデルの学習に必要なラベル付き動画データが限られているという課題に対処すること。
• 実際の動画アノテーションに依存せずに、運動表現の自己教師あり学習を可能にすること。
• 疑似運動生成を通じて顕著な運動領域を局所化する能力を向上させることで、アクション認識を改善すること。
• ImageNetのような静的画像データセットが、下流のアクション理解タスクのための動画モデルの事前学習に効果的であることを示すこと。

提案手法

• 所定の方向と速度で合成された運動を適用することにより、静的画像から疑似運動を生成する。
• これらの疑似運動の方向と速度を分類するように動画モデルを学習させることで、運動パターンをエンコードする。
• 疑似運動シーケンスに静的マスクを導入し、マスク領域とマスクされていない領域の間で運動に一貫性を持たなくする。
• マスク付きの疑似運動を用いて、モデルが局所的な運動領域に注目するよう誘導し、暗黙的に空間的アテンションを学習する。
• 標準的な動画アーキテクチャ（例：R-2D3D、R(2+1)D）をバックボーンとして採用し、ImageNetを用いてMoSIで事前学習する。
• 耐性を高めるために、事前学習中にランダムな色ずれと空間クロップを適用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習を用いて、静的画像から運動表現を効果的に学習できるか？
• RQ2 疑似運動に静的マスクを導入することで、モデルの顕著な運動領域の局所化能力が向上するか？
• RQ3 ImageNetでMoSIによる事前学習を実施した場合、微調整なしで下流のアクション認識タスクで競争力のある性能を達成できるか？
• RQ4 運動表現の質と転移性能の観点から、MoSIは動画ベースの自己教師あり手法と比べてどのように差をつけるか？
• RQ5 MoSIは、動画表現学習のための大規模な動画アノテーションに依存する程度をどの程度低減できるか？

主な発見

• R(2+1)Dバックボーンを用いた場合、MoSIはHMDB51で51.8%のトップ-1精度を達成し、先行手法を上回る最先端の性能を示した。
• UCF101では、同じR(2+1)Dバックボーンを用いて82.8%のトップ-1精度を達成し、優れた転移性を示した。
• 微調整なしで顕著な運動領域を局所化する能力を学習していることが、Grad-CAMの可視化によって示された。
• ImageNetで1クラスあたり30枚の画像のみを用いてMoSIの事前学習を実施した場合、HMDB51で47.6%の精度を達成し、限られたデータでも有効であることが示された。
• マスク付きMoSIのバリエーションは、マスクなしのMoSIと比較して、局所的な運動パターンへの注目が顕著に向上しており、正方形形状の運動領域へのバイアスが低減された。
• 浅く小型のバックボーンを用いても、MoSIはDPCやMemDPCを上回った。これは、優れた表現学習能力を示している。