[論文レビュー] Beyond Transfer Learning: Co-finetuning for Action Localisation

Anurag Arnab, Xuehan Xiong+7 more|arXiv (Cornell University)|Jul 8, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、複数の上流動画分類データセットと下流のアクション局所化タスク（AVA/AVA-Kinetics）を同時に微調整する訓練戦略「co-finetuning」を提案する。クロスデータセット特徴転送と正則化を活用することで、特にレアクラスにおける性能向上を実現し、SOTAの結果を達成した。AVAでは36.1 mAP、AVA-Kineticsでは36.2 mAPを達成し、従来の転移学習に依存する複雑なアーキテクチャを上回った。

ABSTRACT

Transfer learning is the predominant paradigm for training deep networks on small target datasets. Models are typically pretrained on large ``upstream'' datasets for classification, as such labels are easy to collect, and then finetuned on ``downstream'' tasks such as action localisation, which are smaller due to their finer-grained annotations. In this paper, we question this approach, and propose co-finetuning -- simultaneously training a single model on multiple ``upstream'' and ``downstream'' tasks. We demonstrate that co-finetuning outperforms traditional transfer learning when using the same total amount of data, and also show how we can easily extend our approach to multiple ``upstream'' datasets to further improve performance. In particular, co-finetuning significantly improves the performance on rare classes in our downstream task, as it has a regularising effect, and enables the network to learn feature representations that transfer between different datasets. Finally, we observe how co-finetuning with public, video classification datasets, we are able to achieve state-of-the-art results for spatio-temporal action localisation on the challenging AVA and AVA-Kinetics datasets, outperforming recent works which develop intricate models.

研究の動機と目的

• 従来の転移学習の限界を是正すること、特にモデルが1つの上流データセットで事前学習され、下流タスクで微調整される場合の制限を解消すること。
• AVA や AVA-Kinetics のような長尾分布のアクション局所化データセットにおける性能、特に過学習に悩まされやすいレアクラスの性能向上を図ること。
• 複数の上流分類データセットを同時に学習することで、モデルの正則化が可能かどうか、および下流の検出タスクへの特徴転送性能が向上するかを検討すること。
• 外部メモリやグラフベースのモデリングに依存する複雑なアーキテクチャよりも、単純なモデルに修正された訓練戦略を適用することで、SOTA性能を達成できるかを示すこと。
• 異なる上流データセット（例：Kinetics、Moments in Time、SSv2、Instagram）がco-finetuningにおけるアクション局所化タスクの性能に与える影響を評価すること。

提案手法

• Co-finetuningは、1つのモデルを複数の上流動画分類データセット（例：Kinetics、Moments in Time、Something-Something V2）と下流のアクション局所化データセット（AVA や AVA-Kinetics）とで同時に訓練する。
• 訓練目的関数は、上流データセットからの分類損失と、下流データセットからの検出損失を組み合わせており、共有バックボーンとタスク固有のヘッドを用いる。
• 複数の上流データセットのスケールと多様性を活用することで、特に下流データセットのレアクラスに有益な正則化が行われる。
• 外部メモリやグラフニューラルネットワークなどの複雑なコンponentsを含まない、標準的な検出アーキテクチャ（例：ViViT）を用い、訓練戦略に焦点を当てる。
• さらに性能を向上させるために、WTS（6000万本の動画）を用いた事前学習を実施し、co-finetuningを初期段階から適用する。
• 推論は1つのビューで実施され、空間解像度を向上（例：512px）させることで精度を向上させ、画像検出の実践と整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 複数の上流動画分類データセットを同時に学習することで、従来の転移学習に比べ、下流のアクション局所化タスクにおける性能が向上するか？
• RQ2 Co-finetuningは、AVA のような長尾分布のデータセットにおけるレアクラスに特に効果的な正則化効果を発揮するか？
• RQ3 上流データセットの選択（例：Kinetics 対 Moments in Time 対 SSv2）が、co-finetuningにおける下流性能に与える影響は？
• RQ4 公開で入手可能な弱教師あり動画データセットを用いたco-finetuningは、複雑なモデルアーキテクチャを用いずにSOTAの結果を達成できるか？
• RQ5 分類タスクで学習された特徴表現が、アクション局所化のより複雑な検出タスクへどの程度転送可能か？

主な発見

• Kinetics、Moments in Time、Something-Something V2 を用いたco-finetuningにより、AVA での mAP が 36.1 に向上し、SOTA性能を達成した。
• AVA-Kinetics では 36.2 mAP を達成し、このベンチマークで最も高い知られている結果となった。
• 特にレアクラス（Tail および Mid）において顕著な改善が見られ、co-finetuningが過学習を抑制する正則化効果を発揮した。
• WTS での事前学習（6000万本の動画）をco-finetuningに組み込むことで、さらに性能向上が見られ、ベースライン比で mAP が 0.9% 向上した。
• Kinetics でなく Moments in Time が、アクション局所化タスクにおいて上流データセットとしてより効果的であることが判明した（Kinetics は標準的選択肢であるが）。
• モデルは同時に動画分類とアクション局所化を実行でき、上流分類ベンチマークでも競争力のある精度を達成した。