[論文レビュー] Domain Transfer for 3D Pose Estimation from Color Images without Manual Annotations

Mahdi Rad, Markus Oberweger+1 more|arXiv (Cornell University)|Jan 1, 2018

Human Pose and Action Recognition参考文献 50被引用数 51

ひとこと要約

この論文はカラー画像からカラー注釈なしで3D姿勢を推定する方法を提案します。RGB-Dデータの対を用いてカラーから深度への特徴マッピングを学習し、Maximum Mean Discrepancy (MMD) を用いて現実と合成の深度ドメインを整合します。3Dオブジェクト姿勢推定と3Dハンド姿勢推定の両方に適用されます。

ABSTRACT

We introduce a novel learning method for 3D pose estimation from color images. While acquiring annotations for color images is a difficult task, our approach circumvents this problem by learning a mapping from paired color and depth images captured with an RGB-D camera. We jointly learn the pose from synthetic depth images that are easy to generate, and learn to align these synthetic depth images with the real depth images. We show our approach for the task of 3D hand pose estimation and 3D object pose estimation, both from color images only. Our method achieves performances comparable to state-of-the-art methods on popular benchmark datasets, without requiring any annotations for the color images.

研究の動機と目的

• カラー画像からの3D姿勢推定を、手間のかかるカラー画像アノテーションなしで動機づける。
• 現実または合成のラベル付き深度画像を活用して、頑健な姿勢推定器を訓練する。
• ターゲットドメインのアノテーションなしで、カラーと深度モダリティ間のドメインギャップを埋める。

提案手法

• 合成深度データで深度特徴抽出器 f_D と姿勢推定器 h_D を訓練する。
• RGB-Dペアと特徴マッピング損失 L_FM を用いて、カラー特徴抽出器 f_C と深度特徴へ写像するマッピングネットワーク g を訓練する。
• 再生核ヒルベルト空間(RKHS)で現実と合成の深度特徴分布を整合させるために Maximum Mean Discrepancy (MMD) を用いる。
• 合成深度データに対する姿勢損失、特徴マッピング損失、そして MMD 損失を結合したジョイント目的関数にまとめ、重みを beta と gamma とする。
• 推論は g∘f_C によってカラー特徴を深度特徴空間へ写像し、h_D を適用してカラー画像から3D姿勢を推定する。

実験結果

リサーチクエスチョン

• RQ1 RGB-Dペアデータと深度のみの監督を活用して、カラー注釈なしでカラー画像から3D姿勢を推定できるか？
• RQ2 学習したカラーから深度への特徴マッピングは、合成深度データから実カラー画像へ姿勢知識をどれだけ効果的に転移できるか？
• RQ3 実データのカラーアノテーションなしで、現実と合成の深度特徴間の MMD ベースのドメイン整合だけでドメインギャップを埋められるか？
• RQ4 このアプローチは、カラー画像からのリジッドオブジェクト姿勢推定と3Dハンド姿勢推定の両方に適用可能か？

主な発見

• カラー画像のアノテーションなしで、LINEMOD および STB/RHD ベンチマークにおいて最先端手法と同等の姿勢推定性能を達成。
• LINEMOD では、カラーアノテーションを必要とする手法を上回り、アノテーション依存手法のベストに近い性能を達成。
• 3Dハンド姿勢については、RGB-D ペアを用いた学習で、アノテーションベース手法と同等の精度に匹敵する STB で競争力のある結果を報告。
• 推論時間は良好で、TITAN X プラットフォームで物体姿勢約3.2 ms、手姿勢約8.6 ms。
• 訓練には合成深度データと RGB-D ペアが必要で、事前訓練手順が収束を改善する。