[論文レビュー] A Closer Look at Few-Shot Video Classification: A New Baseline and Benchmark

Zhenxi Zhu, Limin Wang+2 more|arXiv (Cornell University)|Oct 24, 2021

Human Pose and Action Recognition参考文献 26被引用数 14

ひとこと要約

本論文は、重みインプリンティングとドロップアウトを用いた単純な分類器ベースのベースラインを提案し、少数ショット動画分類において最先端のメタラーニング手法を上回ることを示した。これにより、時間的アライメントの複雑さではなく、表現学習が主なボトル neck であることが明らかになった。さらに、ベースデータを拡張した新しいベンチマーク complete-Kinetics を導入し、事前学習を不要とする学習を可能にした。その結果、十分なデータが利用可能になると性能が顕著に向上することが示された。

ABSTRACT

The existing few-shot video classification methods often employ a meta-learning paradigm by designing customized temporal alignment module for similarity calculation. While significant progress has been made, these methods fail to focus on learning effective representations, and heavily rely on the ImageNet pre-training, which might be unreasonable for the few-shot recognition setting due to semantics overlap. In this paper, we aim to present an in-depth study on few-shot video classification by making three contributions. First, we perform a consistent comparative study on the existing metric-based methods to figure out their limitations in representation learning. Accordingly, we propose a simple classifier-based baseline without any temporal alignment that surprisingly outperforms the state-of-the-art meta-learning based methods. Second, we discover that there is a high correlation between the novel action class and the ImageNet object class, which is problematic in the few-shot recognition setting. Our results show that the performance of training from scratch drops significantly, which implies that the existing benchmarks cannot provide enough base data. Finally, we present a new benchmark with more base data to facilitate future few-shot video classification without pre-training. The code will be made available at https://github.com/MCG-NJU/FSL-Video.

研究の動機と目的

• 既存のメタラーニング手法の有効性を、時間的アライメントや事前学習への依存度を分析することで、少数ショット動画分類において再評価すること。
• ImageNet での事前学習が、新しいクラスと意味的重複を示すため、少数ショット学習の仮定を損なう可能性があるかどうかを調査すること。
• 現在のベンチマークに十分なベースデータが不足している問題を解決するため、より多くの学習サンプルを含む新しいベンチマークを提案すること。
• 複雑なメタラーニング手法を上回る、強力で単純なベースラインを確立し、表現学習の重要性がアーキテクチャの複雑さを上回ることを強調すること。

提案手法

• メタラーニングや時間的アライメントを用いず、標準的な事前学習と微調整によって学習する、重みインプリンティングとドロップアウトを用いた線形分類器を用いた分類器ベースのベースラインを提案。
• 時間的アライメント機構が異なる複数のメタラーニング手法を公平に比較し、表現学習の影響を分離する。
• Kinetics データセット上で教師ありおよび自己教師あり事前学習（例：MoCo）を評価し、事前学習が性能向上に果たす役割を分析。
• 元の Kinetics データセットの全学習サンプル（49,325 個の動画）を用いて、validation および test スプリットを維持したまま、complete-Kinetics ベンチマークを構築。
• ゼロショットおよび少数ショット設定においても、すべての手法に一貫した学習・評価プロトコルを適用し、公平な比較を実現。
• ImageNet のオブジェクトクラスと新しいアクションクラスの相関を分析し、少数ショット評価における事前学習データの漏洩リスクを定量化。

実験結果

リサーチクエスチョン

• RQ1 複雑な時間的アライメントモジュールを備えるにもかかわらず、なぜメタラーニングに基づく少数ショット動画分類手法が性能を発揮しないのか？
• RQ2 ImageNet での事前学習が、新しいアクションクラスとの意味的重複により、性能にバイアスを及える程度はどの程度か？
• RQ3 単純な分類器ベースの手法が、最先端のメタラーニングアプローチを少数ショット動画分類で上回ることができるか？
• RQ4 事前学習を行わない場合、ベース学習データの可用性が性能にどの程度影響を与えるか？
• RQ5 少数ショット動画分類における真のボトル neck は、時間モデリングか、表現学習か？

主な発見

• 重みインプリンティングとドロップアウトを用いた提案された分類器ベースのベースラインは、標準的な Kinetics 少数ショットベンチマークにおいて、すべての最先端メタラーニング手法を上回った。
• 既存のベンチマークで事前学習なしで学習を開始した場合、性能が著しく低下し、効果的な表現学習のための十分なベースデータが不足していることが示された。
• ImageNet での事前学習が性能向上に寄与するのは、特徴の質のおかげではなく、新しいアクションクラスとの意味的重複のおかげであり、少数ショット学習の仮定を破っている。
• 自己教師あり事前学習（例：MoCo）も、事前学習なしで学習する場合に比べて性能を向上させることが確認され、表現学習が依然として核心的な課題であることが裏付けられた。
• 新しい complete-Kinetics ベンチマークでは、ベースライン手法は事前学習なしで顕著な性能向上を示したが、メタラーニング手法は僅かな改善にとどまった。
• 公平な比較がなされた際、メタラーニング手法と単純なベースラインの性能差が縮まり、表現学習がアーキテクチャの複雑さよりも主要因であることが示唆された。