[論文レビュー] SRNet: Improving Generalization in 3D Human Pose Estimation with a Split-and-Recombine Approach

Ailing Zeng, Xiao Sun+4 more|arXiv (Cornell University)|Jul 18, 2020

Human Pose and Action Recognition参考文献 41被引用数 17

ひとこと要約

SRNetは、体を局所的関節グループに分割して別々のブランチで処理し、次に低次元のグローバルコンテキストを再結合することで、3次元人体ポーズ推定の一般化性能を向上させる。このアプローチにより、長尾分布に起因する影響が軽減され、特に動画ベースの設定において、珍しいおよび未学習のポーズの性能が顕著に向上し、Human3.6Mおよび3DHPデータセットで最先端の結果を達成した。

ABSTRACT

Human poses that are rare or unseen in a training set are challenging for a network to predict. Similar to the long-tailed distribution problem in visual recognition, the small number of examples for such poses limits the ability of networks to model them. Interestingly, local pose distributions suffer less from the long-tail problem, i.e., local joint configurations within a rare pose may appear within other poses in the training set, making them less rare. We propose to take advantage of this fact for better generalization to rare and unseen poses. To be specific, our method splits the body into local regions and processes them in separate network branches, utilizing the property that a joint position depends mainly on the joints within its local body region. Global coherence is maintained by recombining the global context from the rest of the body into each branch as a low-dimensional vector. With the reduced dimensionality of less relevant body areas, the training set distribution within network branches more closely reflects the statistics of local poses instead of global body poses, without sacrificing information important for joint inference. The proposed split-and-recombine approach, called SRNet, can be easily adapted to both single-image and temporal models, and it leads to appreciable improvements in the prediction of rare and unseen poses.

研究の動機と目的

• 珍しいまたは未学習のグローバルポーズに対する3次元人体ポーズ推定の一般化性能が低いという課題に対処すること。
• トレーニングデータの長尾分布問題を、局所的に頻出する関節構成を活用することで軽減すること。
• 合成データの増強に依存せずに、未学習ポーズに対するモデルのロバスト性を向上させること。
• 構造的なネットワーク分解を通じて、局所特徴学習を強化しつつ、グローバルポーズの整合性を維持すること。
• 単一フレームおよび時間的3次元ポーズ推定ベンチマークの両方で最先端の性能を達成すること。

提案手法

• 人体を内部的依存性が強い局所的関節グループに分割し、それぞれを専用のブランチで処理する。
• 各ブランチは局所的関節構成を独立して学習することで、関連性の低いグローバルな体領域の影響を軽減する。
• 他のブランチから得られる低次元のグローバルコンテキストベクトルを各ブランチに再結合し、ポーズの整合性を保持する。
• グローバルコンテキストの次元削減により、局所的特徴学習中に不必要な体部からの干渉を最小限に抑える。
• このアーキテクチャは単一画像モデルおよび時間的モデルの両方と互換性があり、動画ベースのポーズ推定に応用可能である。
• 追加のデータオーグメンテーションを必要とせず、元のトレーニングデータをより効果的に活用する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングセットで頻出する局所的関節構成を活用することで、珍しいまたは未学習のグローバルポーズへの一般化性能を向上させられるか？
• RQ2 体を局所的領域に分割し、グローバルコンテキストを再結合することで、標準的なエンドツーエンドネットワークと比較して珍しいポーズの性能が向上するか？
• RQ3 この分割・再結合アプローチは、単一フレームおよび動画ベースの3次元ポーズ推定の両方で、既存の最先端手法を上回る性能を発揮できるか？
• RQ4 グローバルコンテキストベクトルの次元が性能および一般化性能に与える影響は何か？
• RQ5 この手法は、トレーニングデータにおける長尾ポーズ分布の影響をどの程度軽減できるか？

主な発見

• Human3.6MのCross Actionプロトコルにおいて、先行研究の最先端手法[7]と比較して12.2％相対改善（11.4mmの低減）を達成した。
• PI-3DHPテストセットでは、82.0mmの平均MPJPEを達成し、比較対象の全手法を上回った。
• 2Dグランドトゥルース入力の場合、Human3.6Mで32.0mmのMPJPEを達成し、[27]と比較して14.0％相対改善（37.2mm）を示した。
• 2Dキーポoin検出結果を入力とした場合、MPJPEを4.3％低減（46.8mmから44.8mm）し、検出誤差に対しても高いロバスト性を示した。
• パラメータ数は361万（[27]の1695万の約1/5）にとどまり、高い効率性を示した。
• アブレーションスタディにより、分割・再結合設計が、特に学習頻度が低いアクションにおいて顕著に性能向上をもたらすことが確認された。