[論文レビュー] Revisiting Classifier: Transferring Vision-Language Models for Video Recognition

Wenhao Wu, Zhun Sun+1 more|arXiv (Cornell University)|Jul 4, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本論文は、CLIPなどのビジョン・ランゲージモデルの事前学習済みテキスト埋め込みを用いて、標準的な線形分類器ヘッドを置き換える、画期的な動画認識パラダイムを提案する。これにより、収束が速くなり、最先端の精度が達成される。テキストエンコーダーから得られる意味的知識を分類器の初期化に活用することで、Kinetics-400で87.8%のトップ1精度を達成し、ゼロショットおよびフェイワショット設定で最大50%の絶対的精度向上が得られ、モデルの変更が最小限で、著しく向上した学習効率を実現する。

ABSTRACT

Transferring knowledge from task-agnostic pre-trained deep models for downstream tasks is an important topic in computer vision research. Along with the growth of computational capacity, we now have open-source vision-language pre-trained models in large scales of the model architecture and amount of data. In this study, we focus on transferring knowledge for video classification tasks. Conventional methods randomly initialize the linear classifier head for vision classification, but they leave the usage of the text encoder for downstream visual recognition tasks undiscovered. In this paper, we revise the role of the linear classifier and replace the classifier with the different knowledge from pre-trained model. We utilize the well-pretrained language model to generate good semantic target for efficient transferring learning. The empirical study shows that our method improves both the performance and the training speed of video classification, with a negligible change in the model. Our simple yet effective tuning paradigm achieves state-of-the-art performance and efficient training on various video recognition scenarios, i.e., zero-shot, few-shot, general recognition. In particular, our paradigm achieves the state-of-the-art accuracy of 87.8% on Kinetics-400, and also surpasses previous methods by 20~50% absolute top-1 accuracy under zero-shot, few-shot settings on five popular video datasets. Code and models can be found at https://github.com/whwu95/Text4Vis .

研究の動機と目的

• 視覚言語モデルの事前学習済みモデルの動画分類への転送性を向上させるために、テキストエンコーダーの知識を活用すること。
• 標準的なファインチューニングパイプラインにおいて、テキストエンコーダーが十分に活用されていない問題を解決すること。
• ランダムに初期化された分類器ヘッドを、事前学習済みテキスト埋め込みからの意味的知識に置き換えることで、性能と学習速度を向上させること。
• 最小限の計算コストで強力なフェイワショットおよびゼロショット性能を実現することで、効率的な動画認識の民主化を図ること。

提案手法

• ビジョン・ランゲージモデルのテキストエンコーダーから事前に抽出された固定されたテキスト埋め込みを、標準的な線形分類器ヘッドに置き換える。
• CLIPモデルのテキストエンコーダーを用いて、各クラスラベルのための意味的ベクトルを生成し、これを分類器の重み行列として使用する。
• テキスト分類器の重みを固定したまま、クロスエントロピー損失を用いて視覚エンコーダーのみをエンドツーエンドで訓練する。
• 初期化戦略の違いを比較：ランダム、直交、視覚的統計に基づく（LDA）、意味的テキスト埋め込み。
• バッチの集約を必要とし、テキストエンコーダーを更新する対照的ベースラインを比較対象とする。
• 公平な比較と複数のGPUにおける効率的な学習のため、分散データ並列学習を採用する。

実験結果

リサーチクエスチョン

• RQ1 ビジョン・ランゲージモデルの事前学習済みテキスト埋め込みは、動画分類における視覚表現の転送性を向上させることができるか？
• RQ2 分類器の重みとして意味的テキストベクトルを使用する場合、ランダムまたは直交初期化と比較して、精度と収束速度にどのような差が生じるか？
• RQ3 テキストエンコーダーを固定したまま、視覚エンコーダーのみをファインチューニングした場合、下流の動画認識性能にどのような影響を与えるか？
• RQ4 従来の対照的ベースラインと比較して、本手法はゼロショットおよびフェイワショット設定でどのように性能を発揮するか？
• RQ5 本手法は、著しく低い学習コストとFLOPsで最先端の性能を達成できるか？

主な発見

• 本手法は、Kinetics-400で87.8%のトップ1精度を達成し、動画認識分野における新たな最先端性能を樹立した。
• 5つの動画データセット全体で、ゼロショットおよびフェイワショット精度が20–50%の絶対的向上を達成し、従来手法を上回った。
• バッチ集約を必要とする対照的ベースラインと比較して、学習時間を2倍短縮（8枚のV100 GPUで10時間）した。
• 同じ精度を達成した場合、ViViT-L/16-320と比較して29倍の高いスループットと44倍少ないFLOPsを達成し、優れた効率性を示した。
• ViT-B/16を用いた場合、わずか3.3 V100日間の学習で81.5%のトップ1精度を達成し、対照的ベースラインよりも0.8%高い精度とより速い収束を実現した。
• マルチビュー評価プロトコルを用いることで、性能はさらに向上し、トップ1精度が82.9%に達した。これは、本手法の頑健性を示している。