[論文レビュー] LiftFormer: 3D Human Pose Estimation using attention models

Adrian Llopart|arXiv (Cornell University)|Sep 1, 2020

Human Pose and Action Recognition参考文献 41被引用数 10

ひとこと要約

LiftFormer は、自己注意メカニズムを活用した Transformer Encoder ベースのモデルであり、2次元キーポイントシーケンスから 3D ヒューマンポーズを予測する。時間的整合性が向上した状態で最先端の性能を達成しており、Human3.6M で 2D ディテクタを用いた場合に MPJPE を 0.3 mm（44.8 mm）低下、真値入力を用いた場合に 2 mm（31.9 mm）低下させた。モデルパラメータ数はたったの 9.5M であり、先行手法より少ない。精度と効率性に優れた性能を示している。

ABSTRACT

Estimating the 3D position of human joints has become a widely researched topic in the last years. Special emphasis has gone into defining novel methods that extrapolate 2-dimensional data (keypoints) into 3D, namely predicting the root-relative coordinates of joints associated to human skeletons. The latest research trends have proven that the Transformer Encoder blocks aggregate temporal information significantly better than previous approaches. Thus, we propose the usage of these models to obtain more accurate 3D predictions by leveraging temporal information using attention mechanisms on ordered sequences human poses in videos. Our method consistently outperforms the previous best results from the literature when using both 2D keypoint predictors by 0.3 mm (44.8 MPJPE, 0.7% improvement) and ground truth inputs by 2mm (MPJPE: 31.9, 8.4% improvement) on Human3.6M. It also achieves state-of-the-art performance on the HumanEva-I dataset with 10.5 P-MPJPE (22.2% reduction). The number of parameters in our model is easily tunable and is smaller (9.5M) than current methodologies (16.95M and 11.25M) whilst still having better performance. Thus, our 3D lifting model's accuracy exceeds that of other end-to-end or SMPL approaches and is comparable to many multi-view methods.

研究の動機と目的

• 長距離の時間的依存関係を活用することで、モノクローラル動画シーケンスからの 3D ヒューマンポーズ推定を向上させること。
• 空間的・時間的精度を高めるために、2D キーポイント予測を 3D ポーズに変換する課題に対処すること。
• 性能とパラメータ効率性の両面で既存手法を上回る、軽量かつ高精度な 3D ライティングモデルの開発

提案手法

• モデルは 2D キーポイント座標のシーケンスを入力として処理する Transformer Encoder アーキテクチャを採用している。
• 自己注意メカニズムにより、フレーム間の長距離時間的関係を捉え、ポーズの整合性を向上させている。
• 2D 入力から相対的な根関節座標の 3D 関節座標を予測するために、エンドツーエンドで学習している。
• パラメータ数の削減を目的に、マルチヘッドアテンション層間での重み共有を適用している。
• 受容 field、エンコーダーブロック数、隠れ層次元などのハイパーパramータを調整し、精度と効率性のバランスを最適化している。
• モデルスケーリングが柔軟に可能であり、競争力のある性能を示す小型モデル（例：2.4M パラメータ）の構築が可能である。

実験結果

リサーチクエスチョン

• RQ1 Transformer Encoder における自己注意メカニズムが、2D キーポイントシーケンスからの 3D ヒューマンポーズ推定における時間的整合性を向上させられるか？
• RQ2 標準ベンチマークにおいて、RNN や CNN ベースの手法と比較して、Transformer を用いた 3D ライティングモデルの性能はどの程度か？
• RQ3 重み共有とハイパーパramータチューニングにより、精度を損なわず、どの程度モデルサイズを削減できるか？
• RQ4 2D ディテクタ出力と真値 2D キーポイントの両方を用いた場合に、提案手法が最先端の結果を達成できるか？
• RQ5 軽量な Transformer モデルが、精度とパラメータ効率性の両面で、より大きなモデルを上回れるか？

主な発見

• CPN による 2D 予測を用いた Human3.6M では、MPJPE が 44.8 mm に低下し、前回の SOTA より 0.3 mm（0.7%）改善された。
• 真値 2D 入力を用いた場合、MPJPE は 31.9 mm に低下し、前回手法より 8.4% の改善を達成した。
• HumanEva-I データセットでは、P-MPJPE が 10.5 に低下し、前回手法より 22.2% 減少した。
• モデルはたった 9.5M パラメータで、競合手法（16.95M および 11.25M）より小さいにもかかわらず、より優れた性能を示した。
• 最小限の 2.4M パラメータモデルでさえ、精度（37.5 mm 対 37.8 mm）とパラメータ数の両面で、より大きなモデルを上回った。
• マルチヘッドアテンションにおける重み共有により、パラメータ数が顕著に削減されたが、性能低下は最小限に抑えられ、特に真値入力で受容 field が 243 の場合、性能が向上した。