[論文レビュー] Feature Boosting Network For 3D Pose Estimation

Jun Liu, Henghui Ding+5 more|arXiv (Cornell University)|Jan 15, 2019

Human Pose and Action Recognition参考文献 40被引用数 8

ひとこと要約

本稿では、3次元手および身体ポーズ推定のための特徴ブースティングネットワーク（FBN）を提案する。本手法は、長期間および短期間の依存関係を捉える長短距離依存性に配慮した（LSTD）モジュールと、グラフィカルなConvLSTMを用いて、身体部位間の複雑な依存関係をモデル化する。さらに、文脈的一致性に基づいて特徴を調整する文脈的一致性ゲート（CCG）を導入し、3DHandPose、Human3.6M、MPI-INF-3DHPのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

In this paper, a feature boosting network is proposed for estimating 3D hand pose and 3D body pose from a single RGB image. In this method, the features learned by the convolutional layers are boosted with a new long short-term dependence-aware (LSTD) module, which enables the intermediate convolutional feature maps to perceive the graphical long short-term dependency among different hand (or body) parts using the designed Graphical ConvLSTM. Learning a set of features that are reliable and discriminatively representative of the pose of a hand (or body) part is difficult due to the ambiguities, texture and illumination variation, and self-occlusion in the real application of 3D pose estimation. To improve the reliability of the features for representing each body part and enhance the LSTD module, we further introduce a context consistency gate (CCG) in this paper, with which the convolutional feature maps are modulated according to their consistency with the context representations. We evaluate the proposed method on challenging benchmark datasets for 3D hand pose estimation and 3D full body pose estimation. Experimental results show the effectiveness of our method that achieves state-of-the-art performance on both of the tasks.

研究の動機と目的

• 実際の状況下（遮蔽、テクスチャの変動、照明の変化など）における単一RGB画像からの正確な3次元手および身体ポーズ推定の課題に対処すること。
• 身体部位間の複雑な長期間および短期間の依存関係をモデル化することで、畳み込みネットワークにおける特徴表現を向上させること。
• 文脈的一致性ゲート（CCG）を導入し、特徴が文脈的表現と整合しているかどうかを評価して特徴の伝搬を制御することで、特徴の信頼性を向上させること。
• 3次元手ポーズおよび全身ポーズ推定のためのベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 提案された特徴ブースティングネットワークは、中間の畳み込み特徴マップを強化するために、CNNアーキテクチャに長短距離依存性に配慮した（LSTD）モジュールを統合する。
• LSTDモジュールは、事前に定義されたグラフィカル構造を介して、手または身体部位の特徴間の直接的（短期間）および間接的（長期間）な依存関係をグラフィカルなConvLSTMでモデル化する。
• 文脈的一致性ゲート（CCG）は、特徴がその文脈と整合しているかを評価し、それに応じて特徴の伝搬をソフトモジュレータとして制御する。
• ネットワークは、深層構造において複数の畳み込み層とLSTDモジュールをスタックし、ネットワーク全体にわたる多段階の特徴ブースティングを可能にする。
• モデルは、ベンチマークデータセット上で標準的な3次元ポーズ推定損失関数を用いてエンドツーエンドで訓練される。
• グラフィカル依存関係構造は解剖学的関節接続に基づいて設計されており、アブレーションスタディによりその有効性が検証されている。

実験結果

リサーチクエスチョン

• RQ1 身体部位間の長期間および短期間の依存関係をモデル化することで、単一RGB画像からの3次元ポーズ推定が向上するか？
• RQ2 文脈に配慮したゲーティング機構は、遮蔽やテクスチャの変動が生じる状況下でも特徴の信頼性を向上させるか？
• RQ3 グラフィカルなConvLSTMを備えた提案されたLSTDモジュールは、標準的な再帰型モジュール（例：ConvRNN や ConvGRU）を上回る性能を発揮するか？
• RQ4 特徴ブースティングネットワークは、データセットをまたいで一般化できるか、特にクロスデータセット評価において有効か？

主な発見

• 3DHandPoseデータセットでは、本手法がPCK@20で89.5%を達成し、ベースラインの3D Pose Netを上回った。
• Human3.6Mでは、PCK@50が51.5%に達し、ベースラインの3D Pose Netよりも3.4%向上した。
• MPI-INF-3DHPにおけるクロスデータセット評価では、PCKが69.6%に達し、先行研究（[42]：69.2%、[20]：64.7%）を上回った。
• CCGモジュールの追加により、Human3.6MではPCK@50が1.7%向上し、3DHandPoseでは2.3%向上した。
• Human3.6Mでは平均誤差が61 mmに達し、ベースラインの3D Pose Net（65 mm）から4 mmの低減を達成した。
• アブレーションスタディの結果、依存関係グラフにさらに接続を追加しても性能向上が見られず、設計されたグラフ構造の最適性が裏付けられた。