[論文レビュー] Enhancing Unsupervised Video Representation Learning by Decoupling the Scene and the Motion

Jinpeng Wang, Yuting Gao+6 more|arXiv (Cornell University)|Sep 12, 2020

Human Pose and Action Recognition参考文献 43被引用数 18

ひとこと要約

本論文では、空間的および時間的局所的摂動を用いてポジティブおよびネガティブな動画クリップを構築することで、時間的感度を向上させる自己教師付き動画表現学習手法であるDecoupling the Scene and Motion（DSM）を提案する。潜在空間においてポジティブなクリップを元のものに近づけ、ネガティブなクリップを遠ざけることで、シーンバイアスを低減し、同じバックボーンを用いたSOTA手法と比較してUCF101で8.1%、HMDB51で8.8%のアクション認識性能向上を達成した。

ABSTRACT

One significant factor we expect the video representation learning to capture, especially in contrast with the image representation learning, is the object motion. However, we found that in the current mainstream video datasets, some action categories are highly related with the scene where the action happens, making the model tend to degrade to a solution where only the scene information is encoded. For example, a trained model may predict a video as playing football simply because it sees the field, neglecting that the subject is dancing as a cheerleader on the field. This is against our original intention towards the video representation learning and may bring scene bias on different dataset that can not be ignored. In order to tackle this problem, we propose to decouple the scene and the motion (DSM) with two simple operations, so that the model attention towards the motion information is better paid. Specifically, we construct a positive clip and a negative clip for each video. Compared to the original video, the positive/negative is motion-untouched/broken but scene-broken/untouched by Spatial Local Disturbance and Temporal Local Disturbance. Our objective is to pull the positive closer while pushing the negative farther to the original clip in the latent space. In this way, the impact of the scene is weakened while the temporal sensitivity of the network is further enhanced. We conduct experiments on two tasks with various backbones and different pre-training datasets, and find that our method surpass the SOTA methods with a remarkable 8.1% and 8.8% improvement towards action recognition task on the UCF101 and HMDB51 datasets respectively using the same backbone.

研究の動機と目的

• 静的シーンの特徴に過剰に依存するのではなく、動きのパターンに注目するようモデルを誘導する、自己教師付き動画表現学習におけるシーンバイアスの是正。
• シーンの文脈への依存を低減し、時間的感度を向上させることで、モデルの汎化性能の向上。
• 教師なしで、複雑なアーキテクチャを必要とせず、シンプルで効果的かつプラグイン可能な、シーンとモーションの分離手法の開発。
• 表現空間でシーンとモーションを分離することで、動きの情報がより効果的に活用されることの検証。

提案手法

• 各動画に対して、元の動画に空間的局所的摂動を適用することで動きを保持したポジティブクリップを構築し、時間的局所的摂動を適用することでシーンを保持したネガティブクリップを構築する。
• ポジティブおよびネガティブなクリップを用いて、潜在空間において元のクリップからポジティブなクリップを近づけ、ネガティブなクリップを遠ざけるメトリック学習の目的関数を定義する。
• 空間的局所的摂動は、動きのパターンを破壊しながらもシーンのコンテンツを保持するように空間特徴を局所的に摂動させ、時間的局所的摂動は空間的コンテンツを保ちながら時間的整合性を損なう。
• モーメンタムエンコーダーを用いた対照的学習により表現を最適化し、事前学習中に安定した特徴学習を確保する。
• 本手法はさまざまなバックボーンや事前学習データセットと互換性があり、リtrieval や検出などの下流タスクへの応用も可能である。

実験結果

リサーチクエスチョン

• RQ1 シーンとモーションの情報を明示的に分離することで、自己教師付き動画表現学習の性能を向上させることができるか？
• RQ2 シーンバイアスを低減することで、動画理解におけるより良い汎化性能と強化された時間的モデリングが達成できるか？
• RQ3 空間的および時間的局所的摂動のような単純なデータ拡張が、モデルが静的背景ではなく動きに注目するように効果的に誘導できるか？
• RQ4 SOTAの自己教師付き手法と比較して、提案手法はアクション認識ベンチマークでどの程度性能向上を達成するか？

主な発見

• 提案手法DSMは、同じI3Dバックボーンを用いたSOTA自己教師付き手法と比較して、UCF101で8.1%、HMDB51で8.8%のトップ-1精度の絶対的向上を達成した。
• 平均的に、動きに強く依存するアクションカテゴリの特徴表現が向上し、特に従来は無視されがちだった動きが重要なカテゴリで顕著な向上が見られた。
• 可視化の結果、DSMモデルは静的背景ではなく動きのある物体に注目していることが示され、シーンバイアスの低減と空間的・時間的注意の向上が確認された。
• 強い動きを含むクリップに対しては高い反応を示し、弱いまたは無音の動きを含むクリップに対しては低い反応を示すことで、時間的感度の向上が裏付けられた。
• 敵対的例では、静的の人間のボディやフレームがノイズとして挿入されても、DSMは動き領域に注目し続けることが確認され、干渉要因に対して強いことが示された。
• アブレーションスタディの結果、空間のねじれと動きの摂動を併用することで最良の性能が得られ、UCF101で12.5%、HMDB51で16.0%の向上が達成された。