[論文レビュー] Hand Pose Estimation through Semi-Supervised and Weakly-Supervised Learning

Natalia Neverova, Christian Wolf+2 more|arXiv (Cornell University)|Nov 20, 2015

Human Pose and Action Recognition参考文献 49被引用数 6

ひとこと要約

本稿では、手のポーズ推定のための半教師ありおよび弱教師ありの深層学習手法を提案する。この手法は、原始的な深度データと部分セグメンテーションという中間表現を統合することで、関節の回帰精度を向上させる。豊富にアノテートされた合成データと、関節位置のみにアノテートされた実画像を活用することで、合成データの辞書とのピクセル単位のアライメントにより高精度なセグメンテーションを学習する。この結果、直接回帰と比較してNYUデータセット上で2D関節誤差を15.7%低減した。

ABSTRACT

We propose a method for hand pose estimation based on a deep regressor trained on two different kinds of input. Raw depth data is fused with an intermediate representation in the form of a segmentation of the hand into parts. This intermediate representation contains important topological information and provides useful cues for reasoning about joint locations. The mapping from raw depth to segmentation maps is learned in a semi/weakly-supervised way from two different datasets: (i) a synthetic dataset created through a rendering pipeline including densely labeled ground truth (pixelwise segmentations); and (ii) a dataset with real images for which ground truth joint positions are available, but not dense segmentations. Loss for training on real images is generated from a patch-wise restoration process, which aligns tentative segmentation maps with a large dictionary of synthetic poses. The underlying premise is that the domain shift between synthetic and real data is smaller in the intermediate representation, where labels carry geometric and topological meaning, than in the raw input domain. Experiments on the NYU dataset show that the proposed training method decreases error on joints over direct regression of joints from depth data by 15.7%.

研究の動機と目的

• 原始的な深度入力と構造的中間表現（部分セグメンテーション）を統合することで、手のポーズ推定の精度を向上させること。
• 関節位置の弱い監督信号を用いて、密度の高いセグメンテーションアノテーションがなくても、実深度データ上で学習可能にする。
• 合成データと実データの間のドメインシフトを、原始入力空間ではなく中間表現空間で学習することでより管理可能にする。
• 構造的中間表現が、直接関節回帰と比較して、より強力な幾何学的およびトポロジカルな手がかりを提供することを示すこと。
• 予測されたセグメンテーションを、大規模な合成パーツマップの辞書とピクセル単位でアライメントするパッチワイズ修復プロセスを開発すること。

提案手法

• 深層回帰器は、原始的な深度入力と部分セグメンテーションマップ（中間表現）を統合して、関節位置を予測する。
• セグメンテーションネットワークは、密度付きラベルが付与された合成データを用いた半教師あり学習と、実画像からの予測パッチを合成パッチの辞書にアライメントすることで弱教師あり学習される。
• パッチワイズ修復は、実画像からの一時的なセグメンテーションマップを、幾何学的およびトポロジカルな一貫性を監視信号として用いて、合成データの最も類似したパッチとアライメントする。
• この手法は、ラベル同士の隣接関係、トポロジー、幾何学的構造を持つ部分セグメンテーションの構造的ラベル空間を活用し、弱教師あり学習を支援する。
• 学習には2つのデータセットを用いる：密度付きのピクセル単位の部分セグメンテーションが付与された合成深度画像、および関節位置のみにアノテートされた実深度画像。
• 最終的なモデルはリアルタイムで推論可能（1手あたり31–58 ms）であり、逆運動学などの後処理に依存しない。

実験結果

リサーチクエスチョン

• RQ1 部分セグメンテーションのような構造的中間表現が、手のポーズ推定のための深層回帰の精度を向上させられるか？
• RQ2 関節位置のラベルのみを用いて、密度の高いアノテーションがなくても実深度画像上でセグメンテーションネットワークを学習できるか？
• RQ3 原始入力空間ではなく中間表現空間で学習することで、合成データと実データの間のドメインシフトがより管理可能になるか？
• RQ4 実データのセグメンテーションマップを合成データの辞書にパッチ単位でアライメントすることは、高精度な部分セグメンテーションの学習に有効な弱教師あり信号となるか？
• RQ5 深度とセグメンテーションを統合することで、直接回帰と比較して2Dおよび3D関節位置推定誤差がどの程度改善されるか？

主な発見

• 提案手法は、NYU Hand Poseデータセットにおいて、直接回帰と比較して2D平均関節誤差を15.7%低減した。
• 逆運動学や後処理を用いない深層学習手法の中で、最先端の性能を達成した。
• 弱教師あり学習パイプラインにより、関節位置のラベルのみを用いて、実データ上で高精度なセグメンテーション予測が可能になった。
• パッチワイズ修復プロセスにより、実画像のパッチを大規模な合成パーツマップの辞書とアライメントすることで、ドメインシフトが効果的に低減された。
• モデルはリアルタイムで動作し、24×24のセグメンテーション解像度では31 ms、48×48解像度では58 msの推論時間であった。
• 2Dおよび3D位置推定精度の両面で、完全教師ありベースラインおよび非深層学習手法を上回った。