[論文レビュー] SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning

Ting Yao, Yiheng Zhang+3 more|arXiv (Cornell University)|Aug 3, 2020

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

SeCoは、コントラスト学習フレームワーク内でのインスタンス識別と時系列順序検証タスクを通じて、空間的、時空間的、および順序的な3種類の系列監視を活用することで、動画の教師なし表現学習フレームワークを提案する。この手法は最先端の性能を達成し、行動認識のベンチマークであるUCF101とHMDB51において、ImageNetで教師あり事前学習を行う手法をそれぞれ2.96%および6.47%上回った。

ABSTRACT

A steady momentum of innovations and breakthroughs has convincingly pushed the limits of unsupervised image representation learning. Compared to static 2D images, video has one more dimension (time). The inherent supervision existing in such sequential structure offers a fertile ground for building unsupervised learning models. In this paper, we compose a trilogy of exploring the basic and generic supervision in the sequence from spatial, spatiotemporal and sequential perspectives. We materialize the supervisory signals through determining whether a pair of samples is from one frame or from one video, and whether a triplet of samples is in the correct temporal order. We uniquely regard the signals as the foundation in contrastive learning and derive a particular form named Sequence Contrastive Learning (SeCo). SeCo shows superior results under the linear protocol on action recognition (Kinetics), untrimmed activity recognition (ActivityNet) and object tracking (OTB-100). More remarkably, SeCo demonstrates considerable improvements over recent unsupervised pre-training techniques, and leads the accuracy by 2.96% and 6.47% against fully-supervised ImageNet pre-training in action recognition task on UCF101 and HMDB51, respectively. Source code is available at \url{https://github.com/YihengZhang-CV/SeCo-Sequence-Contrastive-Learning}.

研究の動機と目的

• 人間によるアノテーションが高コストで限られている動画データの課題を、動画の内在的構造を活用することで教師なし表現学習に応用すること。
• 動画系列における3種類の監視、すなわち空間的（フレーム内）、時空間的（複数フレーム間）、および順序的（時系列順序）を体系的に調査・活用すること。
• これらの監視信号を統合した一貫したコントラスト学習フレームワークを構築し、一括でエンドツーエンドの訓練を可能にすること。
• 系列監視を用いた教師なし事前学習が、下流の動画タスクにおいて完全に教師ありのImageNet事前学習を上回ることを実証すること。

提案手法

• 3つの代理タスクを設計：フレーム内インスタンス識別（同じフレームからのパッチを区別）、フレーム間インスタンス識別（同じ動画からのパッチを区別）、時系列順序検証（正しいフレーム順序を検証）。
• アンカーとなるフレームに対してデータ拡張を適用し、フレーム内およびフレーム間タスクのクエリおよびキーのビューを生成する。
• MoCoにインspiredして、ミニバッチ間でキーデータをメモリバンクに保存することで、フレーム間コントラスト学習を改善する。
• インスタンス識別タスクにはInfoNCE損失を、時系列順序検証にはクロスエントロピー損失を用いた学習可能な分類器を採用する。
• 共有のResNet18バックボーンを用いて、3つのタスクを一括でエンドツーエンドで訓練する。
• コントラスト学習の原則に従い、同一フレームまたは同一動画のペair（ポジティブペア）間の類似度を最大化し、ネガティブペア間の類似度を最小化する。

実験結果

リサーチクエスチョン

• RQ1 動画系列に内在する時空間的構造が、教師なし表現学習の有効な監視信号として機能できるか？
• RQ2 空間的、時空間的、および順序的という異なる種類の系列監視が、汎用的な動画表現の学習にどのように寄与するか？
• RQ3 一貫したコントラスト学習フレームワークが、複数の形式の系列監視を効果的に統合できるか？
• RQ4 系列監視を用いた教師なし事前学習が、下流の動画認識タスクにおいて完全に教師ありのImageNet事前学習を上回るか？

主な発見

• 線形評価プロトコル下でUCF101で50.81%のトップ1精度を達成し、すべての先行する教師なし手法を上回り、新たな最先端を樹立した。
• 事前学習＋微調整プロトコル下でHMDB51で55.55%のトップ1精度を達成し、最高の競合手法VIE-Fullを7.95ポイント上回った。
• 微調整プロトコル下で、UCF101とHMDB51において、それぞれImageNetで教師あり事前学習を行う手法を2.96%および6.47%上回った。
• UCF101およびHMDB51の両方で、教師ありのImageNet事前学習を上回ったことから、動画表現学習における系列監視の優位性を示した。
• アブレーションスタディにより、空間的、時空間的、および順序的の3つの代理タスクが最終的な性能向上に顕著に寄与することが確認された。
• 2DのResNet18バックボーンでさえも、3D ResNet18とSlowFastネットワークを用いるVIE-Fullよりも優れた結果を達成しており、SeCoの有効性を裏付けた。