[論文レビュー] MoDist: Motion Distillation for Self-supervised Video Representation Learning.

Fanyi Xiao, Joseph Tighe+1 more|arXiv (Cornell University)|Jun 17, 2021

Human Pose and Action Recognition参考文献 85被引用数 11

ひとこと要約

MoDistは、動きの特徴を明示的に蒸留するためのクロスモodal学習目的を導入することで、動きの特徴を明確に学習する自己教師あり動画表現学習手法を提案する。この手法により、前面の動きに注目するよう強化され、アクション認識および検出のベンチマークで最先端の性能を達成し、教師ありベースラインを上回るか同等の性能を発揮する。

ABSTRACT

We present MoDist as a novel method to explicitly distill motion information into self-supervised video representations. Compared to previous video representation learning methods that mostly focus on learning motion cues implicitly from RGB inputs, we show that the representation learned with our MoDist method focus more on foreground motion regions and thus generalizes better to downstream tasks. To achieve this, MoDist enriches standard contrastive learning objectives for RGB video clips with a cross-modal learning objective between a Motion pathway and a Visual pathway. We evaluate MoDist on several datasets for both action recognition (UCF101/HMDB51/SSv2) as well as action detection (AVA), and demonstrate state-of-the-art self-supervised performance on all datasets. Furthermore, we show that MoDist representation can be as effective as (in some cases even better than) representations learned with full supervision. Given its simplicity, we hope MoDist could serve as a strong baseline for future research in self-supervised video representation learning.

研究の動機と目的

• 従来の方法がRGB入力から暗黙的に入力するのに対し、動きの特徴を明示的にモデル化することで、自己教師あり動画表現学習を向上させること。
• 従来の対照的学習手法が前面の動き領域に注目できないという限界を克服するため、専用の動きパスを導入すること。
• アクション認識やアクション検出のような下流タスクへの一般化を向上させる、シンプルで効果的なフレームワークを開発すること。
• 自己教師あり表現が完全な教師あり学習に匹敵するか、それを上回ることを示すこと。
• 将来の自己教師あり動画表現学習分野における研究の強力で実用的なベースラインとしてMoDistを確立すること。

提案手法

• MoDistは、RGB動画クリップを処理するビジュアルパスと、オプティカルフローまたは動き特徴を処理する動きパスを備えた二パス構造を導入する。
• RGB入力からの一般動画表現の学習を目的とした、ビジュアルパスにおける対照的学習目的を適用する。
• 動きパスとビジュアルパスの間でクロスモダリティ学習目的を導入し、両者の表現を一致させることで、動き情報を明示的に蒸留する。
• RGBクリップにおける対照的損失と、動き特徴と視覚特徴の間のクロスモダリティ一致損失を同時に最適化する。
• 動きパスは前面の動きの手がかりを捉えるように訓練され、その後、クロスモダリティ目的を通じて視覚表現に蒸留される。
• このフレームワークはエンドツーエンドで訓練可能であり、対照的学習以外の追加の教師信号は不要である。

実験結果

リサーチクエスチョン

• RQ1 暗黙的動き学習と比較して、明示的な動き蒸留が自己教師あり動画表現の質と一般化性能を向上させるか？
• RQ2 動き特徴と視覚特徴の間でクロスモダリティ学習目的を導入することで、学習された表現における前面の動き領域への注目度が向上するか？
• RQ3 標準的な動画ベンチマークにおいて、MoDistは最先端の自己教師ありおよび完全教師あり手法と比較してどのように性能を発揮するか？
• RQ4 MoDistで訓練された自己教師あり表現が、下流タスクにおいて完全教師あり表現と同等またはそれを上回るか？
• RQ5 MoDistは、将来の自己教師あり動画表現学習分野における研究の実用的で効果的なベースラインとして成立するか？

主な発見

• アクション認識の自己教師あり学習において、UCF101、HMDB51、Something-Something-V2で最先端の性能を達成した。
• アクション検出のAVAデータセットにおいて、競争力のある性能を発揮し、密度予測タスクへの一般化性能が優れていることを示した。
• MoDistが学習する表現は、標準的な対照的学習よりも一般化性能が高く、特に前面の動きを捉える能力に優れている。
• 一部のケースでは、MoDistの自己教師あり表現が、完全教師あり表現を下流タスクで上回った。
• アブレーションスタディにより、クロスモダリティ学習目的が性能を顕著に向上させることを確認し、明示的動き蒸留の有効性を裏付けた。
• この手法はシンプルで効果的であり、将来の自己教師あり動画学習研究における新しいベースラインとして強く候補となる。