[論文レビュー] 3D Human Pose Estimation with Relational Networks

Sungheon Park, Nojun Kwak|arXiv (Cornell University)|May 23, 2018

Human Pose and Action Recognition参考文献 21被引用数 19

ひとこと要約

本稿では、グループ化された特徴相互作用を通じて関節間の関係を活用することで、1枚の画像からの3次元人体ポーズ推定のための関係的ニューラルネットワークを提案する。関係的ドロップアウトを導入し、欠損または遮蔽された関節に対する耐性を向上させ、Human 3.6M データセットにおいて、部分的教師あり学習や関節遮蔽の条件下でも最先端の性能を達成した。

ABSTRACT

In this paper, we propose a novel 3D human pose estimation algorithm from a single image based on neural networks. We adopted the structure of the relational networks in order to capture the relations among different body parts. In our method, each pair of different body parts generates features, and the average of the features from all the pairs are used for 3D pose estimation. In addition, we propose a dropout method that can be used in relational modules, which inherently imposes robustness to the occlusions. The proposed network achieves state-of-the-art performance for 3D pose estimation in Human 3.6M dataset, and it effectively produces plausible results even in the existence of missing joints.

研究の動機と目的

• 深度の曖昧さにより本質的に未定義な1枚の2次元画像からの3次元人体ポーズ推定の課題に対処すること。
• 実世界のシナリオで一般的な関節の欠損または遮蔽に対する一般化性と耐性を向上させること。
• 関節を独立して扱うのではなく、身体部位間の関係的依存性をモデル化することで、ポーズ推定の精度を向上させること。
• 関節欠損をシミュレートするための訓練中に関節欠損を模倣する「関係的ドロップアウト」という、新しい訓練戦略を開発すること。
• 局所的関節依存性をよりよくモデル化し、ノイズの多い2次元検出結果に対しても耐性を高めるために、階層的関係的ネットワークの有効性を実証すること。

提案手法

• 16個の2次元関節入力を、重複のない5つの身体グループ（左腕、右腕、左脚、右脚、胴体）に分割する。
• 関係的ネットワークモジュールを適用し、すべてのグループペア間でペアワイズ特徴を計算した後、それらを平均化して文脈に適した表現を生成する。
• 「関係的ドロップアウト」を導入——訓練中の順伝播でペアごとに1つの特徴をランダムにドロップすることで、身体部位の欠損をシミュレートする。
• 階層的関係的ネットワークを設計し、グループ間およびグループ内レベルの両方で関係的ドロップアウトを適用することで、部分的関節欠損に対する耐性を向上させる。
• Martinezら[19]のインスパイアを受けて、バッチ正則化とReLU活性化関数を備えた残差ブロックを特徴抽出および回帰に使用する。
• 2段階の訓練プロトコルに従い、Human 3.6M データセット上でモデルをファインチューニングする：まず2Dから3Dへのマッピングで事前学習し、その後関係的モジュールを含めてファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 標準的な全結合ネットワークと比較して、身体部位間の関係モデリングが3次元ポーズ推定の精度を向上させるか？
• RQ2 関係的ネットワークに特化したドロップアウト戦略が、欠損または遮蔽された関節に対する耐性を向上させるか？
• RQ3 階層的関係的ネットワークは、局所的関節依存性をよりよくモデル化でき、ノイズの多い2次元入力下でも性能を向上させるか？
• RQ4 本手法は、さまざまな関節遮蔽シナリオにおいてベースライン手法と比較してどのように性能を発揮するか？
• RQ5 関係的ドロップアウトの使用は、完全に可視な状況では性能を低下させるが、欠損関節に対する耐性を向上させるか？

主な発見

• 提示された階層的構造を有する関係的ネットワークは、Human 3.6M データセットにおいて最先端の性能を達成し、ベースラインの全結合ネットワークを上回った。
• 関係的ドロップアウトは、関節欠損に対する耐性を顕著に向上させた：全結合ベースラインにおける標準的ドロップアウトと比較して、MPJPEが平均で12.5%低減した。
• ドロップアウトを備えた階層的関係的ネットワーク（RN-hier-drop）は、すべての関節欠損シナリオ（ランダム関節欠損、左腕遮蔽、右脚遮蔽など）で最も低いMPJPEを達成した。
• 2つのランダムに欠損した関節のケースでは、RN-hier-dropはRN-dropよりもMPJPEで15.3%優れており、グループ内関節欠損の処理において階層的ドロップアウトの有効性を示した。
• 関係的ドロップアウト手法は、完全に可視なケースでも性能を維持しており、元のモデルと比較して劣化がなかった。これは、一般化への利点を裏付けた。
• MPII データセットにおける定性的な結果から、2次元検出がノイズが多いか不完全な場合でも、RN-hier-dropは標準的なRNよりもより現実的な3次元ポーズを生成した。