[論文レビュー] RGB-based 3D Hand Pose Estimation via Privileged Learning with Depth Images

Shanxin Yuan, Björn Stenger+1 more|arXiv (Cornell University)|Nov 18, 2018

Human Pose and Action Recognition参考文献 47被引用数 15

ひとこと要約

本論文は、推論時にRGBのみを入力として使用する際の性能向上を図るために、学習段階で深度画像を特権情報として活用する、新しいRGBベースの3次元手のポーズ推定手法を提案する。大規模な深度データセットで事前学習した深度ベースのネットワークから得られる中間レベルの特徴を、ペアドされたRGB-Dデータを用いてRGBネットワークに転移させるとともに、深度から得られる手マスクを用いて背景応答を抑制することで、推論時にRGBのみを入力とする状況でも、3次元および2次元手のポーズ推定ベンチマークで最先端の性能を達成する。

ABSTRACT

This paper proposes a method for hand pose estimation from RGB images that uses both external large-scale depth image datasets and paired depth and RGB images as privileged information at training time. We show that providing depth information during training significantly improves performance of pose estimation from RGB images during testing. We explore different ways of using this privileged information: (1) using depth data to initially train a depth-based network, (2) using the features from the depth-based network of the paired depth images to constrain mid-level RGB network weights, and (3) using the foreground mask, obtained from the depth data, to suppress the responses from the background area. By using paired RGB and depth images, we are able to supervise the RGB-based network to learn middle layer features that mimic that of the corresponding depth-based network, which is trained on large-scale, accurately annotated depth data. During testing, when only an RGB image is available, our method produces accurate 3D hand pose predictions. Our method is also tested on 2D hand pose estimation. Experiments on three public datasets show that the method outperforms the state-of-the-art methods for hand pose estimation using RGB image input.

研究の動機と目的

• 豊富で完全にアノテートされた深度データセットを活用することで、RGBと深度画像からの3次元手のポーズ推定性能のギャップを是正すること。
• 正確なアノテーションが整った小規模な実世界のRGBデータセットの限界を克服し、3次元手のポーズ推定に適したデータを提供すること。
• 学習段階で深度データを特権情報として活用する新しい訓練パラダイムを導入し、RGBのみのテストデータに対する一般化性能を向上させること。
• 深度ベースのネットワークからRGBベースのネットワークへ中間レベルの特徴を転移させることで、ポーズ推定の精度が顕著に向上することを示すこと。
• 深度画像から導出される前景手マスクが、特徴学習段階における背景干渉を抑制する効果を持つことを調査すること。

提案手法

• 大規模かつ完全にアノテートされた深度データセット（例：BigHand2.2M）で、深度ベースの3次元手のポーズネットワークを事前学習し、頑健な中間レベルの特徴を学習する。
• 2番目の訓練段階では、RGBと深度のペア画像を用いて、RGBネットワークの中間活性化を事前学習済み深度ネットワークの中間活性化と一致させるための特徴回帰損失を適用する。
• 深度ベースの手セグメンテーションを活用して、RGBネットワークにおける背景応答を抑制する前景手マスク損失を導入する。
• 事前学習段階で深度ベースのネットワークを凍結し、3次元ポーズ損失と中間特徴損失を組み合わせたジョイント損失を用いて、RGBネットワークを微調整する。
• 既存のCNNアーキテクチャ（例：CPM）に特権学習戦略を統合し、アーキテクチャの大幅な見直しを伴わずに、2次元および3次元手のポーズ推定の両方に対応する。
• 本手法を3次元および2次元手のポーズ推定タスクに適用し、異なるネットワーク設計およびデータセット間での汎用性を実証する。

実験結果

リサーチクエスチョン

• RQ1 学習段階で特権情報として深度画像を活用することで、テスト時に単一のRGB画像からの3次元手のポーズ推定精度が顕著に向上するか？
• RQ2 深度ベースのネットワークからRGBベースのネットワークへ中間レベルの特徴を転移させることで、RGBネットワークを初期状態から学習するのと比べて、一般化性能が向上するか？
• RQ3 深度から導出される手マスクを用いて背景活性化を抑制することで、RGBベースのポーズ推定における特徴学習がどの程度向上するか？
• RQ4 本手法で提案する特権学習戦略は、公開ベンチマークにおけるSOTAのRGBオンリーメソッドと比較して、性能で優れているか？
• RQ5 本手法の訓練戦略は、異なるCNNアーキテクチャおよび2次元手のポーズ推定タスクへも効果的に転送可能か？

主な発見

• 本手法は、Stereo、RHD、Dexter-Objectデータセットにおいて、SOTAのRGBベースの3次元手のポーズ推定手法を上回り、RHDデータセットでのみ学習した場合でも、Dexter-Objectデータセットで11.809の中央値2D PCKを達成した。
• RHDデータセットでは、ベースラインのRGBオンリーモデルと比較して、中央値2Dエンドポイント誤差（EPE）が3.708から2.642に低下し、特権学習による顕著な性能向上を示した。
• 中間レベル特徴正則化を組み込んだジョイント損失は、約30,000イテレーションで収束した。これは、特権情報の微調整段階における安定した最適化を示している。
• 訓練段階で深度から導出された手マスクを活用することで、背景干渉が低減され、特徴の質が向上し、定量的結果でもより正確なキーポイント局所化が達成された。
• RHDデータセットでは、深度ベースの監視のみで2.087の中央値EPEを達成し、特権学習を施したRGBモデルは2.642のEPEを達成した。これは、RGBネットワークが特権深度データのガイダンスを受けることで、深度ベースの性能に非常に近づけることを示している。
• RHDデータセットのみで学習したにもかかわらず、RHDとStereoの両方で学習したSOTAモデル（Z&B_Joint）を上回った。これは、特権学習アプローチのデータ効率の高さを示している。