[論文レビュー] Implicit Temporal Modeling with Learnable Alignment for Video Recognition

Shuyuan Tu, Qi Dai+4 more|arXiv (Cornell University)|Apr 20, 2023

Cancer-related molecular mechanisms researchBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、時間的自己注意の代わりに学習可能なマスクを用いた暗黙的で粗い特徴の整合化により、計算コストの高い時間的自己注意を置き換える軽量な時間モデリング手法であるImplicit Learnable Alignment (ILA) を提案する。フレームペア間の相互作用ポイントを予測し、それらの周囲の特徴を強化することで、ILAは時間的依存関係を暗黙的にモデル化し、Swin-L や ViViT-H よりも顕著に少ないFLOPsでKinetics-400で88.7%のtop-1精度を達成した。

ABSTRACT

Contrastive language-image pretraining (CLIP) has demonstrated remarkable success in various image tasks. However, how to extend CLIP with effective temporal modeling is still an open and crucial problem. Existing factorized or joint spatial-temporal modeling trades off between the efficiency and performance. While modeling temporal information within straight through tube is widely adopted in literature, we find that simple frame alignment already provides enough essence without temporal attention. To this end, in this paper, we proposed a novel Implicit Learnable Alignment (ILA) method, which minimizes the temporal modeling effort while achieving incredibly high performance. Specifically, for a frame pair, an interactive point is predicted in each frame, serving as a mutual information rich region. By enhancing the features around the interactive point, two frames are implicitly aligned. The aligned features are then pooled into a single token, which is leveraged in the subsequent spatial self-attention. Our method allows eliminating the costly or insufficient temporal self-attention in video. Extensive experiments on benchmarks demonstrate the superiority and generality of our module. Particularly, the proposed ILA achieves a top-1 accuracy of 88.7% on Kinetics-400 with much fewer FLOPs compared with Swin-L and ViViT-H. Code is released at https://github.com/Francis-Rings/ILA .

研究の動機と目的

• CLIPベースの動画認識モデルに、効率的かつ効果的な時間モデリングを適用する課題に対処すること。
• 計算コストが増加するにもかかわらず比例した性能向上が得られない、複雑または不十分な時間的自己注意メカニズムへの依存を軽減すること。
• 明示的な注意を用いずに、暗黙的で粗いフレーム間の整合化が、必要な動きや行動の手がかりを捉えられるかを検証すること。
• 視覚変換器と互換性があり、計算オーバーヘッドを最小限に抑えることができるプラグインモジュールを開発すること。
• フレーム間の相互情報が豊富な領域が、動画認識のための強力な時間的信号として機能できることを示すこと。

提案手法

• フレームペアを条件として、畳み込みモジュールを用いて各フレームに相互作用ポイントを予測する。
• 相互情報が豊富な領域に高い重みを割り当て、他の領域に低い重みを割り当てる学習可能なマスクを生成する。
• マスクを適用して、2つの隣接フレームの特徴を重み付け・整合化し、粗い一致表現を生成する。
• 整合化された特徴をプーリングして、以降の空間的自己注意に用いる1つの相互情報トークンを生成する。
• 視覚変換器の各空間ブロックにILAモジュールを統合し、暗黙的空間時間（IST）ブロックを構築する。
• 相互情報トークンを他のフレームトークンと連結することで、明示的な時間的自己注意を用いずに時間的関係を暗黙的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 CLIPベースの動画モデルにおいて、高コストな時間的自己注意を、性能劣化を伴わずに暗黙的で粗いフレーム整合化で置き換えられるか？
• RQ2 隣接フレーム間の相互情報が豊富な領域を特定することで、行動認識に十分な時間的信号が得られるか？
• RQ3 本稿で提案するILA手法は、フレームレベルや共同注意といった既存の時間モデリング手法と比較して、効率性と精度の面で優れているか？
• RQ4 ILAの性能は、CLIP事前学習に依存しているのか、それとも整合化機構自体の設計に起因するのか、その程度はいかほどか？
• RQ5 ILAはベンチマークを越えて一般化可能であり、下流の動画理解タスクにおいて強力なゼロショット性能を達成できるか？

主な発見

• ILAは、わずか40G FLOPsでKinetics-400で88.7%のtop-1精度を達成し、Swin-L（87.3%）やViViT-H（86.7%）を下回る計算コストで性能を上回った。
• ゼロショット評価において、SSv2で43.9%のtop-1精度を達成し、X-CLIP（38.1%）とEVL（35.2%）をそれぞれ5.8%と8.7%上回った。
• 静的バイアスのない時間的理解ベンチマークでは、top-1（T）が81.9%、時間的スコア（TS）が6.1%を記録し、X-CLIP（2.3 TS）やEVL（2.4 TS）を上回った。
• アブレーションスタディの結果、プーリングと連結による相互情報トークンが81.3%の精度を達成し、要素ごとの加算（80.2%）や直接連結（80.6%）を上回った。
• ImageNet-21Kの重みで初期化された場合でも、Swin-B/32fに比べて0.6%のtop-1精度の優位性を維持し、CLIP事前学習を超えた内在的優位性を示した。
• 可視化により、相互作用ポイントが時間経過とともに動く物体を追跡していることが確認され、動的運動の手がかりを効果的に捉えていることが示された。