[論文レビュー] Few-shot Action Recognition via Intra- and Inter-Video Information Maximization

Huabin Liu, Weiyao Lin+4 more|arXiv (Cornell University)|May 10, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、動画内および動画間の情報を同時に最大化することで性能を向上させる、新しい少サンプル行動認識フレームワークであるVideo Information Maximization (VIM) を提案する。VIMは、タスク固有の重要度に基づいてキーフレームを動的に選択し、特徴的な領域を強調する適応的空間時間動画サンプラーを用い、空間時間的行動アライメントモデルにより特徴レベルのアライメントを実現することで、動画間類似度測定を向上させる。このアプローチにより、UCF101、SSv2、HMDB51で最先端の性能を達成し、相互情報量に基づく補助損失を用いている。

ABSTRACT

Current few-shot action recognition involves two primary sources of information for classification:(1) intra-video information, determined by frame content within a single video clip, and (2) inter-video information, measured by relationships (e.g., feature similarity) among videos. However, existing methods inadequately exploit these two information sources. In terms of intra-video information, current sampling operations for input videos may omit critical action information, reducing the utilization efficiency of video data. For the inter-video information, the action misalignment among videos makes it challenging to calculate precise relationships. Moreover, how to jointly consider both inter- and intra-video information remains under-explored for few-shot action recognition. To this end, we propose a novel framework, Video Information Maximization (VIM), for few-shot video action recognition. VIM is equipped with an adaptive spatial-temporal video sampler and a spatiotemporal action alignment model to maximize intra- and inter-video information, respectively. The video sampler adaptively selects important frames and amplifies critical spatial regions for each input video based on the task at hand. This preserves and emphasizes informative parts of video clips while eliminating interference at the data level. The alignment model performs temporal and spatial action alignment sequentially at the feature level, leading to more precise measurements of inter-video similarity. Finally, These goals are facilitated by incorporating additional loss terms based on mutual information measurement. Consequently, VIM acts to maximize the distinctiveness of video information from limited video data. Extensive experimental results on public datasets for few-shot action recognition demonstrate the effectiveness and benefits of our framework.

研究の動機と目的

• 少サンプル行動認識において、動画内および動画間の情報を十分に活用できていない問題に対処すること。
• ラベル付き動画データが限られた状況下で、動画レベルおよび動画間レベルにおける情報量を最大化することで認識性能を向上させること。
• フレームサンプリングの困難さや行動の不一致が特徴品質および類似度測定を劣化させる問題に直面すること。
• 動画内および動画間の情報を統合的に最適化することで、少サンプル一般化性能を向上させる統合フレームワークの構築。
• 相互情報量に基づく補助損失が、少サンプル動画認識における表現学習をどのように向上させるかを検証すること。

提案手法

• タスク固有の重要度に基づいてキーフレームと特徴的な空間領域を動的に選択する適応的空間時間動画サンプラーを導入する。
• 2段階の行動アライメントモデルを採用する：時間的アライメント（TC）は不要なフレームをフィルタリングし、空間的アライメント（SC）は複数の動画間で行動固有の領域に焦点を当てる。
• 相互情報量の最大化を補助損失として用い、動画内（フレームレベル）および動画間（動画レベル）の表現学習をガイドする。
• 対照学習の目的関数を用いて特徴レベルのアライメントを実現し、アライメントされたサポート動画とクエリ動画の特徴間に類似性を促進する。
• エンドツーエンドで学習可能なフレームワークとして、動画サンプラーとアライメントモデルを統合し、データレベルおよび特徴レベルの情報最大化を同時に最適化する。
• 少サンプル分類のためのProtoNetベースの分類ヘッドを採用し、VIMパイプラインから得られる精錬された特徴により、プロトタイプを学習する。

Figure 1 : Overall pipeline of VIM. The few-shot action recognition involves two primary sources of information: (1) Intra-video information and (2) Inter-video information. Our proposed VIM newly introduces an adaptive sampling and action alignment, which seeks to maximize the inter- and intra-vide

実験結果

リサーチクエスチョン

• RQ1 適応的サンプリングは、少サンプル行動認識における動画内情報の活用を向上させることができるか？
• RQ2 空間時間的行動アライメントは、行動の不一致の影響を軽減し、動画間類似度測定を向上させることができるか？
• RQ3 動画内および動画間の情報を同時に最大化することで、より良い少サンプル一般化が達成できるか？
• RQ4 相互情報量に基づく補助損失は、少サンプル動画認識における表現学習を効果的にガイドするか？
• RQ5 VIMは微調整なしで、どの程度異なるドメインに一般化するか？

主な発見

• VIMは、少サンプル設定下でUCF101およびSSv2データセットにおいて最先端の性能を達成し、TRX、OTAM、HyRSMを含む既存手法を上回っている。
• 5-way 1-shot設定において、UCF101では85.6%、SSv2では68.4%の精度を達成し、強力な少サンプル一般化性能を示している。
• アブレーションスタディの結果、適応的動画サンプラーと行動アライメントモジュールの両方が性能向上に顕著に寄与しており、相互情報量損失による寄与はそれぞれ3.2%および2.8%の向上をもたらしている。
• VIMは強力なドメイン一般化性能を示す：Kineticsで事前学習されたVIMは、UCFおよびHMDBに良好に一般化し、これらのデータセットで標準的な訓練と同等の性能を達成している。
• VIMの推論速度はOTAMおよびTRXを上回っており、HyRSMよりもパrameter数が少ないため、32.4Mの追加パラメータを有しても効率的である。
• 可視化結果から、サンプラーが重要な行動フレームを保持し、特徴的な領域を強調していることが確認され、アライメントモデルが複数の動画間で時間的および空間的行動の進化を効果的にアライメントしていることが示された。

Figure 2 : (a) Uniform sampler may overlook frames containing key actions. Critical regions involving the actors and objects may be too small to be properly recognized. (b) Our sampler is able to (I) select frames from an entire video that contribute most to recognition, (II) amplify discriminative