[論文レビュー] Relational Self-Attention: What's Missing in Attention for Video Understanding

Manjin Kim, Heeseung Kwon+3 more|arXiv (Cornell University)|Nov 2, 2021

Human Pose and Action Recognition参考文献 61被引用数 15

ひとこと要約

本論文は、空間的・時間的関係パターンを動的に生成される関係性カーネルとコンテキスト集約を用いて明示的にモデル化することで、動画理解を向上させる、新しい動的特徴変換である関係的自己注意（RSA）を提案する。RSAは畳み込みや標準的な自己注意を上回り、Something-Something-V1&V2、Diving48、FineGymといったモーション中心の動画行動認識ベンチマークで最先端の精度を達成した。

ABSTRACT

Convolution has been arguably the most important feature transform for modern neural networks, leading to the advance of deep learning. Recent emergence of Transformer networks, which replace convolution layers with self-attention blocks, has revealed the limitation of stationary convolution kernels and opened the door to the era of dynamic feature transforms. The existing dynamic transforms, including self-attention, however, are all limited for video understanding where correspondence relations in space and time, i.e., motion information, are crucial for effective representation. In this work, we introduce a relational feature transform, dubbed the relational self-attention (RSA), that leverages rich structures of spatio-temporal relations in videos by dynamically generating relational kernels and aggregating relational contexts. Our experiments and ablation studies show that the RSA network substantially outperforms convolution and self-attention counterparts, achieving the state of the art on the standard motion-centric benchmarks for video action recognition, such as Something-Something-V1 & V2, Diving48, and FineGym.

研究の動機と目的

• 動画におけるモーションダイナミクスを捉えるのに不十分であるとされる従来の動的特徴変換（畳み込みや自己注意）の限界を解決すること。
• 特にモーション中心のデータセットでは、位置埋め込みがなければ標準的な自己注意がモーション表現を効果的に学習できないことの特定。
• 動画表現学習の向上を目的として、豊かな空間的・時間的関係構造を明示的にモデル化する新しい動的特徴変換の開発。
• 関係的特徴と外観ベース特徴を統合することで、標準的な動画行動認識ベンチマークで最先端の性能を達成すること。

提案手法

• 外観ベースと関係性ベースの特徴学習の区別を明確にするため、動的特徴変換の統一的再解釈を提案。
• 空間的・時間的コンテキストにわたるクエリ・キー相関を用いて、RSAが関係性カーネルを動的に生成することで、モーションに敏感な特徴変換を実現。
• スカラー内積注意よりも意味的豊かさを高めるために、G次元の相関ベクトルを計算するグループ別相関メカニズムを導入。
• 潜在次元Dを用いた特徴変換行列の分解により、FLOPsとメモリ使用量を削減しながらも性能を維持。
• 要素ごとの加算により、関係性カーネルと標準的な自己注意および外観ベース特徴を統合し、外観とモーションの両方を同時にモデル化。
• 動きのパターン（例：物体の移動方向）に適応的に反応するように、学習可能なクエリ・キー相関モジュールを用いて関係性カーネルを生成。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な自己注意メカニズムは、動画行動認識タスクにおいてモーションダイナミクスを効果的に捉えられないのか？
• RQ2 動的特徴変換をどのように改善すれば、空間的・時間的関係構造を明示的にモデル化できるようになるのか？
• RQ3 標準的な自己注意と外観ベース特徴に加えて関係性カーネルを統合することで、動画認識精度にどのような影響を与えるか？
• RQ4 相関メカニズムの設計（例：グループ別 vs. 内積）が、動画における関係的特徴学習に与える影響は何か？
• RQ5 カーネルサイズと潜在次元の分解が、精度と計算効率のトレードオフにどのように影響を与えるのか？

主な発見

• RSAはSomething-Something-V1で47.0%のトップ-1精度を達成し、畳み込みおよび標準的な自己注意ベースラインを上回った。
• アブレーションスタディにより、外観特徴と関係性コンテキストを組み合わせることで、異なるコンテキストタイプにおいて一貫した性能向上が確認された。
• グループ別相関メカニズムに全要素（ハダマール）相関（G = C^Q）を適用した場合が最良の性能を示し、より豊かな意味的モデリングが可能であることを示した。
• カーネルサイズM = 5×7×7が、精度と計算コストのバランスを最良に保っていた。より大きなカーネル（例：5×9×9）では性能が低下した。
• 潜在次元の分解（D = C^Q）により、FLOPsとメモリ使用量が顕著に削減され、大規模な動画モデルの訓練においてメモリオーバーを回避できた。
• カーネル可視化の結果、RSAカーネルは動きの方向（例：上向き vs. 下向きの動き）に応じて動的に適応するのに対し、自己注意カーネルは時間順序に対して不変であることが確認され、RSAのモーション感受性が裏付けられた。