[論文レビュー] Refined Temporal Pyramidal Compression-and-Amplification Transformer for 3D Human Pose Estimation

Hanbing Liu, Wangmeng Xiang+5 more|arXiv (Cornell University)|Sep 4, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文では、3次元人体ポーズ推定のための、洗練された時系列ピラミッド圧縮・拡大（RTPCA）変換器を提案する。この手法は、ブロック内マルチスケール特徴抽出のための時系列ピラミッド圧縮・拡大（TPCA）モジュールと、ブロック間アテンション強化のためのクロスレイヤー精錬（XLR）モジュールを統合している。本手法は、Human3.6M、HumanEva-I、MPI-INF-3DHPといったベンチマークで、最小限の計算コストで最先端の精度を達成している。

ABSTRACT

Accurately estimating the 3D pose of humans in video sequences requires both accuracy and a well-structured architecture. With the success of transformers, we introduce the Refined Temporal Pyramidal Compression-and-Amplification (RTPCA) transformer. Exploiting the temporal dimension, RTPCA extends intra-block temporal modeling via its Temporal Pyramidal Compression-and-Amplification (TPCA) structure and refines inter-block feature interaction with a Cross-Layer Refinement (XLR) module. In particular, TPCA block exploits a temporal pyramid paradigm, reinforcing key and value representation capabilities and seamlessly extracting spatial semantics from motion sequences. We stitch these TPCA blocks with XLR that promotes rich semantic representation through continuous interaction of queries, keys, and values. This strategy embodies early-stage information with current flows, addressing typical deficits in detail and stability seen in other transformer-based methods. We demonstrate the effectiveness of RTPCA by achieving state-of-the-art results on Human3.6M, HumanEva-I, and MPI-INF-3DHP benchmarks with minimal computational overhead. The source code is available at https://github.com/hbing-l/RTPCA.

研究の動機と目的

• 既存の変換器ベースの3次元ポーズ推定手法におけるブロック内およびブロック間アテンション機構の利用が限定的であるという問題に取り組む。
• ピラミッド圧縮・拡大構造を用いて、個々の変換器ブロック内でのマルチスケール時系列特徴表現を強化する。
• 隣接するレイヤー間でのキーとバリューの動的相互作用を可能にすることで、ブロック間通信を向上させる。
• 精度と推論効率のバランスを取った、軽量かつ高効果なアーキテクチャを開発する。
• 標準ベンチマーク上で包括的なアブレーションおよび定性的分析を用いて、フレームワークの妥当性を検証する。

提案手法

• 時系列ピラミッド圧縮・拡大（TPCA）モジュールは、アダプティブプーリングと逆畳み込みを用いて、時系列レベルにわたる特徴を圧縮し、その後拡大することで、ブロック内キーやバリュー表現を豊かにする。
• クロスレイヤー精錬（XLR）モジュールは、前方および後方のブロックからのキーやバリューを、学習可能なアテンション機構を介して統合し、ブロック間の情報フローを強化する。
• XLRモジュールは、定数のクエリプロジェクションを備えたリサルゼント接続として実装されており、安定的かつ効果的なクロスレイヤーアテンション統合を可能にする。
• TPCAおよびXLRモジュールは、特徴の精錬をアテンション計算に直接統合した変換器エンコーダアーキテクチャにスタックされる。
• フレームワークは、標準的な3次元ポーズ推定損失（MPJPE）を用いてエンドツーエンドで学習され、Human3.6M、HumanEva-I、MPI-INF-3DHPデータセットで評価される。
• アブレーションスタディでは、異なる圧縮／拡大手法と統合戦略が比較され、MPJPEと遅延に基づいて最適な構成が選定される。

実験結果

リサーチクエスチョン

• RQ1 ピラミッド圧縮・拡大機構は、3次元ポーズ推定における個々の変換器ブロック内でのマルチスケール時系列特徴学習を改善できるか？
• RQ2 隣接するブロック間でのクロスレイヤーアテンション統合は、標準的な自己アテンションと比較してモデル性能と安定性を向上させるか？
• RQ3 ブロック内およびブロック間の精錬統合は、精度と計算効率のトレードオフにどのように影響を与えるか？
• RQ4 TPCAモジュールにおける圧縮および拡大操作の最適構成は、MPJPEと遅延を最小限に抑えるためにどのようなものか？
• RQ5 XLRモジュールは、特徴ベース統合手法と比較して、性能およびパラメータ効率の面で優れているか？

主な発見

• RTPCAモデルは、Human3.6MデータセットでMPJPEが20.0mmを達成し、精度と遅延の両面で既存の最先端手法を上回っている。
• TPCAモジュールにおけるアダプティブプーリングと逆畳み込みの組み合わせが最良の性能を示し、他の構成と比較してMPJPEを20.0mmまで低下させた（他の構成では20.9mm）。
• XLRモジュールはモデルの安定性を顕著に向上させ、加速誤差（Accel）が1.82 mm/s²と最低水準に抑えられ、優れた時系列一貫性を示している。
• 定数クエリプロジェクションを備えたリサルゼントXLRが、MPJPE 19.5mmを達成し、特徴ベースおよび他のアテンションベース統合戦略を上回る性能を示した。
• アブレーションスタディの結果、特徴ベース統合に比べて、アテンションベースのクロスレイヤー統合がより効果的であり、パラメータ数が増加し性能が低下する傾向があることが確認された。
• 定性的な結果から、RTPCAは特に遮蔽や複雑な運動状況において、より正確で頑健な3次元ポーズ再構築を生成することがわかった。