[論文レビュー] Rotation-invariant Mixed Graphical Model Network for 2D Hand Pose Estimation

Deying Kong, Haoyu Ma+2 more|arXiv (Cornell University)|Feb 5, 2020

Human Pose and Action Recognition参考文献 41被引用数 6

ひとこと要約

本論文は、単眼RGB画像からの2次元手関節姿勢推定のための新しい深層学習アーキテクチャ、回転不変混合グラフィカルモデルネットワーク（R-MGMN）を提案する。回転不変ネットワークと学習可能なグラフィカルモデルのプールを統合し、分類器によるソフト選択を用いることで、キーポイントの一貫性が向上し、最先端の性能を達成した。CMU PanopticデータセットではCPMを4.76% mPCK向上させ、Large-scale 3Dデータセットでは3.35%向上した。

ABSTRACT

In this paper, we propose a new architecture named Rotation-invariant Mixed Graphical Model Network (R-MGMN) to solve the problem of 2D hand pose estimation from a monocular RGB image. By integrating a rotation net, the R-MGMN is invariant to rotations of the hand in the image. It also has a pool of graphical models, from which a combination of graphical models could be selected, conditioning on the input image. Belief propagation is performed on each graphical model separately, generating a set of marginal distributions, which are taken as the confidence maps of hand keypoint positions. Final confidence maps are obtained by aggregating these confidence maps together. We evaluate the R-MGMN on two public hand pose datasets. Experiment results show our model outperforms the state-of-the-art algorithm which is widely used in 2D hand pose estimation by a noticeable margin.

研究の動機と目的

• 極度の自己遮蔽や変動する手の姿勢に起因する幾何的不一致の問題に対処すること。
• 入力画像の内容に応じて、手関節間の空間的関係を明示的にモデル化するグラフィカルモデルを用いて、キーポイントの局所化精度を向上させること。
• キーポイント予測の前に、入力画像を標準的な姿勢に回転させる学習により、姿勢推定における回転不変性を実現すること。
• 入力に応じた柔軟な、入力依存のグラフィカルモデル選択をソフト分類器により実現し、モデルの表現力と適応性を高めること。
• 回転、単一の回帰、複数のグラフィカルモデルを統合した一元化されたアーキテクチャのエンドツーエンド学習を達成すること。

提案手法

• 空間変換ネットワークを模倣した回転ネットが、手を画像内での標準的姿勢に一致させる回転を推定・適用する。
• 事前に定義されたグラフィカルモデルのプールに対して、入力画像の内容に応じた確率分布を出力するソフト分類器が、入力に応じたソフト選択を可能にする。
• 深層畳み込みネットワークにより、キーポイントのヒートマップが回帰され、各グラフィカルモデルにおける単一項ポテンシャルとして用いられる。
• 各グラフィカルモデルで独立に信念伝播が実行され、マージナル分布が計算され、その後ソフト分類器の重みを用いて集約される。
• 最終的な信頼度マップは、集約されたマージナルを元の画像座標系に再回転させることで得られる。
• 回転、単一項、グラフィカルモデル部の各段階を別々に訓練する多段階最適化スケジュールを用いて、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 キーポイント予測の前に手を標準的姿勢に整えることで、回転不変ネットワークが2次元手関節姿勢推定を向上させ得るか？
• RQ2 入力画像に応じて選択可能な学習可能な複数のグラフィカルモデルプールは、固定された1つのグラフィカルモデルと比較してキーポイントの一貫性を向上させるか？
• RQ3 学習された分類器によるグラフィカルモデルのソフト選択は、ハード選択や固定モデルと比較して性能を向上させるか？
• RQ4 回転不変性と複数のグラフィカルモデルの混合を統合することで、標準ベンチマーク上で顕著な性能向上が得られるか？
• RQ5 本手法のアーキテクチャは、従来手法が失敗するような極度の遮蔽状況でも高い精度を維持できるか？

主な発見

• CMU Panopticデータセットでは、CPMベースライン比でmPCKが4.76%向上し、mPCKは69.93%に達した。
• σ=0.03の閾値で、R-MGMNはCPM比でPCKを6.22ポイント向上させ、キーポイントの精度向上が顕著に示された。
• Large-scale 3D Multiview Hand Pose Datasetでは、R-MGMNはCPM比でmPCKが3.35%向上し、σ=0.02でPCKが4.19%向上した。
• アブレーションスタディの結果、複数のグラフィカルモデルの混合を追加することで、単一のグラフィカルモデルと比較してmPCKが1.28%向上した。また、回転ネットだけでも3.35%の性能向上が得られた。
• 定性的な結果から、R-MGMNはキーポイント間の幾何的不一致を顕著に低減し、CPMが失敗するような状況でも、親指や人差し指などの遮蔽された指を効果的に回復していることが確認された。
• ノイズや遮蔽に対して頑健であることが示され、特に半数以上が自己遮蔽状態にあるような困難なケースでも高い性能を維持した。