[論文レビュー] Towards Robust RGB-D Human Mesh Recovery

Ren Li, Changjiang Cai+4 more|arXiv (Cornell University)|Nov 18, 2019

Human Pose and Action Recognition参考文献 40被引用数 11

ひとこと要約

本稿では、動的データ統合モジュール、弱教師付き学習のための汎用SMPL制約生成器（USCG）、および深度の曖昧性解消を向上させるための深度順序一貫性（DRC）損失を用いた、ロバストなRGB-Dヒューマンメッシュ回復手法を提案する。本手法により、アノテーションが異なる多様なRGB-DおよびRGBオンativeデータセットを統合的に学習可能となり、相対的深度順序と合成SMPL監視信号を活用することで、最先端のメッシュ再構成精度を達成する。

ABSTRACT

We consider the problem of human pose estimation. While much recent work has focused on the RGB domain, these techniques are inherently under-constrained since there can be many 3D configurations that explain the same 2D projection. To this end, we propose a new method that uses RGB-D data to estimate a parametric human mesh model. Our key innovations include (a) the design of a new dynamic data fusion module that facilitates learning with a combination of RGB-only and RGB-D datasets, (b) a new constraint generator module that provides SMPL supervisory signals when explicit SMPL annotations are not available, and (c) the design of a new depth ranking learning objective, all of which enable principled model training with RGB-D data. We conduct extensive experiments on a variety of RGB-D datasets to demonstrate efficacy.

研究の動機と目的

• RGB-Dセンサからの深度データを活用することで、RGBオンリーヒューマンメッシュ回復における本質的な深度の曖昧性を解消すること。
• 2次元キーポイント、SMPLアノテーション、あるいはSMPLラベルが全くないなど、異種のデータセットからの学習を可能にすること。
• 欠損または一貫性のないデータが存在する状況下でも、RGBオンリー、深度オンリー、RGB-D入力を統合的に扱える包括的な学習フレームワークを構築すること。
• 座標系が任意のものであっても、3次元キーポイントアノテーションから制約生成器を用いて信頼性の高いSMPL監視信号を生成すること。
• キーポイントの相対的深度順序を学習することで、予測されたメッシュパラメータの深度一貫性を強制すること。

提案手法

• 訓練中にRGBまたは深度ストリームをランダムに有効化する動的データ統合モジュールを導入し、欠損したモダリティに対してもロバスト性を向上させる。
• 欠損したRGBまたは深度入力をシミュレートする確率的訓練方針を採用し、データ可用性のさまざまなシナリオにおける一般化性能を向上させる。
• 相対的な3次元キーポイント配置からSMPLパラメータを推定する、汎用SMPL制約生成器（USCG）を提案し、座標系に依存しない。
• 予測された3次元キーポイントの相対的深度順序を強制する深度順序一貫性（DRC）損失を設計し、深度に敏感なメッシュ推定を向上させる。
• USCGによるSMPL監視と標準的な2次元キーポイント損失をDRC損失と組み合わせ、混合データセット上で統合的なモデルを学習する。
• RGBオンリーデータセット（例：PKU-MMD）をゼロ埋め深度マップに変換し、RGB-Dデータと共同で学習可能にすることで、データ効率の良い学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 RGB-Dデータが完全に利用可能でない、またはデータセット間でアライメントが取れない状況下で、ヒューマンメッシュ推定器を効果的に学習する方法は何か？
• RQ2 座標系が異なる、あるいは存在しない3次元キーポイントアノテーションから、信頼性の高いSMPL監視信号を生成する方法は何か？
• RQ3 明示的なSMPLアノテーションがなくても、メッシュ予測における深度の一貫性をどのように強制できるか？
• RQ4 RGBとRGB-Dデータの混合データセットで学習した包括的モデルは、単一のデータタイプで学習したモデルよりも一般化性能が優れているか？
• RQ5 深度順序の監視が、異なる入力モダリティにおけるメッシュ再構成精度に与える影響は何か？

主な発見

• PKU-MMDのRGB-D入力において、提案モデルは130.70の平均頂点-正解誤差を達成し、DRC損失を単独で適用すると120.90に低下する。
• USCGによる補助的SMPL損失を追加することで、全入力タイプおよびデータセットで平均8.5%の再構成誤差低減が達成された。
• RGBオンリーデータセット（例：PKU-MMD）と共同で学習させることで、PKU-MMDのRGB-D入力における誤差は120.59から110.47に低下し、データ効率の良さが示された。
• USCGとDRCを用いてPKU-MMDおよびCAD-60の両方で学習したモデルは、単一データセットで学習したベースラインモデルを上回り、クロスデータセット一般化性能を示した。
• DRC損失単体で、CAD-60のRGB-D入力において誤差を9.8%低減（102.45から91.04に）し、座標系の変化に対しても有効性が証明された。
• USCGとDRC損失の組み合わせが最良のパフォーマンスを発揮し、ベースライン比でCAD-60のRGB-D入力において12.4%の誤差低減が達成された。