Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Temporal Feature Alignment and Mutual Information Maximization for Video-Based Human Pose Estimation

Zhenguang Liu, Runyang Feng|arXiv (Cornell University)|Mar 29, 2022
Human Pose and Action Recognition被引用数 4
ひとこと要約

本論文では、時間的特徴を複数フレームにわたって同期化するための粗くから細かくまでの特徴アライメントを用いる、FAMI-Poseと呼ばれる動画ベースの人体ポーズ推定のための新規フレームワークを提案する。また、情報理論的損失を用いてタスク関連の相互情報量を最大化することで、有用な時間的特徴を効果的に抽出する。本手法は、特徴アライメントの向上と補完的特徴抽出により、高速な動きや隠蔽状態を効果的に処理でき、PoseTrack2017で1位を獲得し、Sub-JHMDBとPoseTrack2018では新たなSOTAを樹立した。

ABSTRACT

Multi-frame human pose estimation has long been a compelling and fundamental problem in computer vision. This task is challenging due to fast motion and pose occlusion that frequently occur in videos. State-of-the-art methods strive to incorporate additional visual evidences from neighboring frames (supporting frames) to facilitate the pose estimation of the current frame (key frame). One aspect that has been obviated so far, is the fact that current methods directly aggregate unaligned contexts across frames. The spatial-misalignment between pose features of the current frame and neighboring frames might lead to unsatisfactory results. More importantly, existing approaches build upon the straightforward pose estimation loss, which unfortunately cannot constrain the network to fully leverage useful information from neighboring frames. To tackle these problems, we present a novel hierarchical alignment framework, which leverages coarse-to-fine deformations to progressively update a neighboring frame to align with the current frame at the feature level. We further propose to explicitly supervise the knowledge extraction from neighboring frames, guaranteeing that useful complementary cues are extracted. To achieve this goal, we theoretically analyzed the mutual information between the frames and arrived at a loss that maximizes the task-relevant mutual information. These allow us to rank No.1 in the Multi-frame Person Pose Estimation Challenge on benchmark dataset PoseTrack2017, and obtain state-of-the-art performance on benchmarks Sub-JHMDB and Pose-Track2018. Our code is released at https://github. com/Pose-Group/FAMI-Pose, hoping that it will be useful to the community.

研究の動機と目的

  • 動画ベースの人体ポーズ推定におけるキーフレームと補助フレームの特徴の空間的不一致の課題に対処すること。
  • 従来の方法がアライメントされていないコンテキスト集約と単純なMSEの監督に依存するという限界を克服し、有用な時間的特徴を活用できないこと。
  • 情報理論的目的関数を用いて、隣接フレームからのタスク関連情報抽出を明示的に監督すること。
  • 原理的特徴アライメントと知識蒸留を用いて、高速な動きやポーズの隠蔽といった困難な状況におけるロバスト性を向上させること。
  • 統一的かつ理論的に根拠のあるフレームワークを用いて、マルチフレーム人体ポーズ推定のための新たなSOTAベンチマークを確立すること。

提案手法

  • フレームワークは粗くから細かくまでの変形戦略を採用する：まず、キーフレームと補助フレーム特徴間の大きなスケールの空間的シフトを補正するためのグローバル変換モジュール（GTM）を適用する。
  • 次に、局所的補正モジュール（LCM）が、画素単位の適応的特徴変調を実行し、局所レベルでのアライメントを精緻化する。
  • キーフレーム特徴とアライメント済み補助フレーム特徴間の相互情報量を最大化する情報理論的損失を導入し、補完的時間的特徴の効果的抽出を保証する。
  • 相互情報量目的関数は理論的分析から導出され、ネットワークがタスク関連表現を学習するのをガイドする中間監督として機能する。
  • 標準的なポーズ推定損失と提案されたMIベースの損失の組み合わせにより、エンドツーエンドで訓練され、アライメントと特徴学習の共同最適化が可能になる。
  • フレームワークは可変サイズの時間的ウィンドウによる補助フレームをサポートしており、柔軟なコンテキストモデリングを可能にする。
Figure 1 : State-of-the-art methods like PoseWarper and DCPose directly aggregate unaligned contexts from neighboring frames, which may fail for scenes with fast motion or pose occlusion. We perform temporal feature alignment between each supporting frame and the key frame, delivering robust pose es
Figure 1 : State-of-the-art methods like PoseWarper and DCPose directly aggregate unaligned contexts from neighboring frames, which may fail for scenes with fast motion or pose occlusion. We perform temporal feature alignment between each supporting frame and the key frame, delivering robust pose es

実験結果

リサーチクエスチョン

  • RQ1粗くから細かくまでの特徴アライメントは、動画ベースの人体ポーズ推定における推定精度を顕著に向上させるか？
  • RQ2相互情報量最大化による隣接フレームからの情報量増加の明示的監督は、標準的なMSE監督よりも優れた性能をもたらすか？
  • RQ3キーフレームと補助フレームの特徴の不一致は、高速な動きや隠蔽状態の下でポーズ推定にどのように影響を与えるか？
  • RQ4補助フレームの数を増やすことで性能はどの程度向上するか？ また、アライメントとMI監督によってその向上はどのように強化されるか？
  • RQ5理論的に根拠のある情報理論的目的関数は、ヒューリスティックまたは暗黙の動きモデリングを上回る性能を発揮するか？

主な発見

  • FAMI-PoseはPoseTrack2017の検証セットでmAP 84.8を達成し、マルチフレーム人体ポーズ推定チャレンジで1位となった。
  • グローバル変換モジュールのみを用いることで、HRNet-W48に比べてmAPが5.6ポイント向上し、DCPoseの以前のSOTA（82.8 mAP）に並んだ。
  • 局所的補正モジュールを追加することでmAPは84.0に上昇し、細粒度アライメントの利点が示された。
  • 相互情報量損失を統合することでmAPはさらに0.8ポイント向上し、これが補助監督としての有効性を確認した。
  • 補助フレームの数を増やすことで性能は単調に向上：mAPはN={-1}の82.8からN={-2,-1,1,2}の84.8に上昇し、拡張された時間的コンテキストの価値が示された。
  • 可視化比較により、FAMI-PoseはHRNet-W48、PoseWarper、DCPoseに比べ、運動ブラーとポーズの隠蔽をより効果的に処理しており、手首や足首のキーポイント検出における誤りが少ないことが確認された。
Figure 2 : Overall pipeline of our FAMI-Pose framework. The goal is to detect the pose of person $i$ in the key frame $I_{t}^{i}$ , with the assistance of its supporting frames. For clarity of illustration, we only show a single supporting frame $I_{t+\delta}^{i}$ in this figure. We first extract th
Figure 2 : Overall pipeline of our FAMI-Pose framework. The goal is to detect the pose of person $i$ in the key frame $I_{t}^{i}$ , with the assistance of its supporting frames. For clarity of illustration, we only show a single supporting frame $I_{t+\delta}^{i}$ in this figure. We first extract th

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。