[論文レビュー] MITFAS: Mutual Information based Temporal Feature Alignment and Sampling for Aerial Video Action Recognition

Ruiqi Xian, Xijun Wang+1 more|arXiv (Cornell University)|Mar 5, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

MITFASは、ドローンビデオにおける小規模な人物、視点の変化、隠蔽の課題に対処するため、相互情報量に基づく時系列特徴整合化とフレームサンプリング手法を提案する。運動に関連する特徴をフレーム間で整合させ、連合相互情報量を用いて情報量の多いフレーム列を選択することで、UAV-HumanではSOTA比でTop-1精度が18.9%向上、Drone-Actionでは7.3%、NEC Dronesでは7.16%向上を達成した。

ABSTRACT

We present a novel approach for action recognition in UAV videos. Our formulation is designed to handle occlusion and viewpoint changes caused by the movement of a UAV. We use the concept of mutual information to compute and align the regions corresponding to human action or motion in the temporal domain. This enables our recognition model to learn from the key features associated with the motion. We also propose a novel frame sampling method that uses joint mutual information to acquire the most informative frame sequence in UAV videos. We have integrated our approach with X3D and evaluated the performance on multiple datasets. In practice, we achieve 18.9% improvement in Top-1 accuracy over current state-of-the-art methods on UAV-Human(Li et al., 2021), 7.3% improvement on Drone-Action(Perera et al., 2019), and 7.16% improvement on NEC Drones(Choi et al., 2020).

研究の動機と目的

• 高高度カメラビューに起因する小規模で変動する人物のアクターに起因するUAVビデオにおける課題に対処する。
• 空中動画行動認識における視点の変化、隠蔽、動的背景に起因する困難を克服する。
• 訓練中に背景の変化よりも人物の運動特徴にモデルの注目を向けるように改善する。
• 訓練に最も情報量が多く、特徴的なフレーム列を選択するフレームサンプリング戦略を開発する。
• X3Dのような既存の動画認識バックボーンと効果的に統合可能であり、再トレーニングやドメイン特化の適応を必要としない。

提案手法

• 連続するフレーム間の空間時系列特徴を整合させるために、相互情報量を基準として用い、運動に関連する領域での類似性を最大化する。
• ピクセル単位の特徴整合技術を適用し、最適な変換パラメータ（ω*）を推定することで、フレーム間の人物行動領域を整合させる。
• 基準フレームに基づく反復的整合プロセスを導入し、各後続フレームを直前の整合済み領域に合わせる。
• 連合相互情報量に基づく新しいフレームサンプリング手法を提案し、情報量が多く多様性のあるフレーム列を選択する。
• 式（11）で定式化された、相互情報量と連合相互情報量の重み付き組み合わせを用いてフレーム選択基準を定式化し、ハイパーパrameter α と β を使用する。
• 提案された整合化およびサンプリングモジュールをX3Dバックボーンと統合し、エンドツーエンドの動画行動認識を実現する。

Figure 1 : $F_{t}$ and $F_{t+1}$ are two frames at time $t$ and $t+1$ , respectively, from the same UAV video. The human actor in the two frames occupies less than 10% of the pixels due to the high camera altitude (top images). (a) MITFAS will focus on the regions corresponding to salient motions an

実験結果

リサーチクエスチョン

• RQ1 高高度カメラと視点の変化を伴うドローンビデオにおいて、相互情報量を効果的に活用して時系列特徴を運動に関連する領域に整合させる方法は何か？
• RQ2 相互情報量に基づくフレームサンプリング戦略として、訓練用に最も情報量が多く多様性のあるフレーム列をどのように選択できるか？
• RQ3 標準的な動画認識バックボーン（例：X3D）と組み合わせた場合、時系列特徴整合化が認識精度にどの程度向上効果をもたらすか？
• RQ4 均一サンプリング、ランダムサンプリング、適応的サンプリングのベースラインと比較して、MITFASはUAVビデオベンチマークにおけるTop-1精度でどの程度優れているか？
• RQ5 L2距離やコサイン類似度といった他の指標と比較して、相互情報量はドローンビデオ行動認識の文脈で優れた類似度測定指標と見なせるか？

主な発見

• MITFASはUAV-HumanデータセットでSOTA比で18.9%高いTop-1精度を達成し、ベースラインX3D比で20.2%の向上を示した。
• Drone-Actionデータセットでは、SOTA比で7.3%高いTop-1精度を達成し、均一サンプリングのベースラインX3D比で16.6%の向上を示した。
• NEC Dronesデータセットでは、MITFASはTop-1精度78.62%を達成し、前回のSOTA比で7.18%の向上を示した。
• 提案された時系列特徴整合化（TFA）は、X3Dとさまざまなサンプリング手法と統合した場合、Top-1精度を16–17.5%向上させた。
• 相互情報量は、L2やコサイン類似度などの他の類似度測定指標よりも優れており、UAV-Human（表8）で最高の精度を達成した。
• サンプリング基準の最適ハイパーパrameterは α = 1.0 と β = 1.0 であり、相互情報量と連合相互情報量の両成分がフレーム選択において同等に重要であることを示している。

Figure 2 : Given a starting frame $F_{t}$ in a UAV video, we use a localization network to localize the human action and crop the region containing the human motion as the reference image $F_{r}$ . At time $t+1$ , we use our feature alignment algorithm to estimate the optimal operation parameter $\o