[論文レビュー] PoseAug: A Differentiable Pose Augmentation Framework for 3D Human Pose Estimation

Kehong Gong, Jianfeng Zhang+1 more|arXiv (Cornell University)|May 6, 2021

Human Pose and Action Recognition参考文献 53被引用数 13

ひとこと要約

PoseAug は、モデルの学習フィードバックに従って微分可能でエンドツーエンドのデータオートオーギュメンテーションフレームワークであり、ポーズ、ボディサイズ、視点、位置の微分可能幾何オーギュメンテーションを通じて訓練データの多様性を学習することで、3次元人体ポーズ推定の一般化性能を向上させる。最先端の性能を達成し、クロス・データセット評価において MPI-INF-3DHP で 3D PCK を 9.1% 向上（88.6% に）した。

ABSTRACT

Existing 3D human pose estimators suffer poor generalization performance to new datasets, largely due to the limited diversity of 2D-3D pose pairs in the training data. To address this problem, we present PoseAug, a new auto-augmentation framework that learns to augment the available training poses towards a greater diversity and thus improve generalization of the trained 2D-to-3D pose estimator. Specifically, PoseAug introduces a novel pose augmentor that learns to adjust various geometry factors (e.g., posture, body size, view point and position) of a pose through differentiable operations. With such differentiable capacity, the augmentor can be jointly optimized with the 3D pose estimator and take the estimation error as feedback to generate more diverse and harder poses in an online manner. Moreover, PoseAug introduces a novel part-aware Kinematic Chain Space for evaluating local joint-angle plausibility and develops a discriminative module accordingly to ensure the plausibility of the augmented poses. These elaborate designs enable PoseAug to generate more diverse yet plausible poses than existing offline augmentation methods, and thus yield better generalization of the pose estimator. PoseAug is generic and easy to be applied to various 3D pose estimators. Extensive experiments demonstrate that PoseAug brings clear improvements on both intra-scenario and cross-scenario datasets. Notably, it achieves 88.6% 3D PCK on MPI-INF-3DHP under cross-dataset evaluation setup, improving upon the previous best data augmentation based method by 9.1%. Code can be found at: https://github.com/jfzhang95/PoseAug.

研究の動機と目的

• 限られた訓練データの多様性に起因する、3次元人体ポーズ推定器の分布外やリアルワールドデータセットへの一般化性能の低さを是正する。
• 固定ルールに依存する従来のオフラインデータオーギュメンテーション手法の限界を克服し、モデルの学習ダイナミクスに適応できない問題を解決する。
• 訓練損失をフィードバックとして用いて、データオーギュメンテーションとポーズ推定が共同最適化されるエンドツーエンドで学習可能なフレームワークを構築する。
• 部分に注意を払った関節連鎖構造の監視を導入した識別モジュールにより、生成されたポーズが幾何学的に妥当であることを保証する。
• 特にクロス・データセット評価設定において、多様なシナリオにわたるモデルのロバスト性を向上させる。

提案手法

• ニューラルネットワークの操作を通じて、スケルトンの関節角度、ボディサイズ、視点／位置を学習的に変更する微分可能なポーズオーギュメンテータを導入する。
• ポーズ推定器の訓練損失をオーギュメンテータを逆伝播することで、より多様で挑戦的なポーズを生成するようオーギュメンテータをガイドするエンドツーエンド学習を可能にする。
• オーギュメンテーション中に局所的な関節角度の妥当性を強制するために、部分に注意を払ったキネマティックチェーン空間（PA-KCS）を用いた3次元ポーズ識別器を設計する。
• 2次元ポーズ識別器を実装し、オーギュメンテーションされたポーズのボディサイズ、視点、空間的位置の妥当性を保証する。
• オーギュメンテータ、推定器、識別器を統合した共同最適化方式を採用し、データの多様性とモデルの一般化性能を向上させる。
• 推定誤差が増加すると、オーギュメンテータがより複雑で多様なポーズを生成するようフィードバックループを構築し、訓練の難易度を動的に向上させる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドでフィードバック駆動型のデータオーギュメンテーションは、従来のオフラインオーギュメンテーションを上回る3次元人体ポーズ推定器の一般化性能を向上させ得るか？
• RQ2 ルールベースまたは手作業で設計された手法と比較して、微分可能なオーギュメンテータは、多様で妥当な2次元・3次元ポーズペアをどれほど効果的に生成できるか？
• RQ3 部分に注意を払ったキネマティックチェーン空間による妥当性の強制は、生成されたポーズの品質と下流のモデル性能にどの程度寄与するか？
• RQ4 オーギュメンテーションと推定の共同最適化は、特にリアルワールドベンチマークで測定可能なクロス・データセット一般化性能の向上をもたらすか？
• RQ5 フレームワークの個々の構成要素（例：RT操作、識別器）は、挑戦的なデータセットにおける性能向上にどの程度寄与しているか？

主な発見

• PoseAug は、クロス・データセット評価において MPI-INF-3DHP で 88.6% の 3D PCK を達成し、従来の最高性能のデータオーギュメンテーション手法を 9.1% 上回った。
• フレームワークは、3DHP で MPJPE を 86.6 から 73.0 に 13.6 ポints 減少させ、H36M では 41.8 から 38.2 に 3.6 ポイント減少させ、イントラおよびクロスシナリオ設定の両方で顕著な向上を示した。
• RT 操作（視点および位置のオーギュメンテーション）がクロスシナリオ性能に最も寄与し、全コンポonentを組み合わせた場合、3DHP で MPJPE が 13.1 ポイント低下した。
• 部分に注意を払った KCS を用いた 3D ポーズ識別器は、標準 KCS を上回り、3DPW で MPJPE を 13.0 ポイント、3DHP で 13.6 ポイント減少させ、その有効性を確認した。
• 2D および 3D 両方の識別器を追加すると、3DHP で 13.6 ポイントの性能向上が得られ、妥当性ガイドラインが効果的なオーギュメンテーションに不可欠であることを示した。
• 多様性解析により、PoseAug が、ベースラインおよび従来手法と比較して、特に挑戦的なリアルワールドシナリオにおいて、視点および位置の分布を顕著に拡大していることが確認された。