[論文レビュー] Few-Shot Video Classification via Temporal Alignment

Kaidi Cao, Jingwei Ji+3 more|arXiv (Cornell University)|Jun 27, 2019

Human Pose and Action Recognition参考文献 46被引用数 16

ひとこと要約

本論文は、クエリ動画とサポートセットプロキシ間の適応的アライメント経路を学習することで、長期間にわたる時間的順序を明示的にモデル化する、Few-shot動画分類フレームワークであるTemporal Alignment Module (TAM)を提案する。連続的リラクゼーションを用いることでエンド・ツー・エンドの学習を可能にし、TAMはSOTAの性能を達成し、KineticsおよびSomething-Something-V2で1クラスあたり1例のラベルのみを用いても、平均プーリングベースラインと比較してトップ1精度を約8%向上する。

ABSTRACT

There is a growing interest in learning a model which could recognize novel classes with only a few labeled examples. In this paper, we propose Temporal Alignment Module (TAM), a novel few-shot learning framework that can learn to classify a previous unseen video. While most previous works neglect long-term temporal ordering information, our proposed model explicitly leverages the temporal ordering information in video data through temporal alignment. This leads to strong data-efficiency for few-shot learning. In concrete, TAM calculates the distance value of query video with respect to novel class proxies by averaging the per frame distances along its alignment path. We introduce continuous relaxation to TAM so the model can be learned in an end-to-end fashion to directly optimize the few-shot learning objective. We evaluate TAM on two challenging real-world datasets, Kinetics and Something-Something-V2, and show that our model leads to significant improvement of few-shot video classification over a wide range of competitive baselines.

研究の動機と目的

• 新しいクラスのラベル付きデータが極めて限られているFew-shot動画分類の課題に対処すること。
• 従来の手法でしばしば無視されがちな、動画内の長期間にわたる時間的順序を明示的にモデル化すること。
• エンド・ツー・エンドで最適化可能な微分可能フレームワークを構築し、データ効率を向上させること。
• 動画間で生じる非線形な時間的変動が、正確なFew-shot分類を妨げる要因となるのを克服すること。
• 最小限の監視情報で、現実世界の動画データセットにおいて既存のベースラインを上回ること。

提案手法

• TAMは、クエリ動画とサポート動画特徴量の間で学習されたアライメント経路に沿って、各フレームのコサイン距離の平均値を用いて時間的アライメントスコアを計算する。
• アライメント経路は動的計画法を用い、連続的リラクゼーションによりエンド・ツー・エンドのバックプロパゲーションが可能になる。
• 最適化の安定化と勾配の流れのバランスをとるために、平滑化パラメータλを導入する。
• モデルは、深層動画特徴量を抽出するためのシアンズ型バックボーンを用い、その後にTAMモジュールを適用して分類を行う。
• 最終的な予測は、各クラスのすべてのサポートプロキシに対する最小アライメントスコアを計算することで得られる。
• メタ学習の目的関数を用いてエンド・ツー・エンドで学習し、Few-shot一般化性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 時間的順序の明示的モデリングは、Few-shot動画分類性能を向上させ得るか？
• RQ2 適応的時間的アライメントは、固定またはヒューリスティックなアライメント戦略と比較して、Few-shot動画学習においてどのように優れているか？
• RQ3 連続的リラクゼーションは、時間的アライメントモジュールのエンド・ツー・エンド学習をどの程度効果的に可能にするか？
• RQ4 モデルは、動画シーケンスにおける非線形な時間的変動に対してどの程度頑健か？
• RQ5 提案手法は、視覚的複雑性が異なる多様な動画データセットに一般化可能か？

主な発見

• 1-shot設定において、TAMはKineticsでトップ1精度73.0%、Something-Something-V2で85.8%を達成し、平均プーリングベースラインを約8%上回る。
• 5-shot設定では、Something-Something-V2でTAMがトップ1精度85.8%を達成し、次善のベースラインを著しく上回る。
• アブレーションスタディの結果、TAMによる適応的アライメントは、Min、Mean、Diagonalなどのベースラインと比較して、1-shotおよび5-shot両設定で3%以上の性能向上を示す。
• 平滑化パラメータλの選択に対してモデルは頑健であり、両データセットで[0.05, 0.1]の範囲で最適な性能が得られる。
• 定性的な分析から、TAMはエンド・ツー・エンドで意味的で時間的に整合性のあるアライメント経路を学習していることが確認された。
• 連続的リラクゼーション技術により、アライメント経路を介した効果的なバックプロパゲーションが可能となり、Few-shot学習目的関数の直接最適化が可能になった。