[論文レビュー] Learning Human Pose Models from Synthesized Data for Robust RGB-D Action Recognition

Jian Liu, Naveed Akhtar+1 more|arXiv (Cornell University)|Jul 4, 2017

Human Pose and Action Recognition参考文献 62被引用数 7

ひとこと要約

本論文では、3次元人体モデル、GANを用いて合成画像と実画像の分布を一致させ、CNNを用いて不変特徴を抽出することで、合成RGB-Dデータから視点や外見に依存しない人体ポーズ表現を学習するHuman Pose Models (HPMs)を提案する。本手法は、大規模で多様な合成学習データと、時系列モデリングに用いるFourier Temporal Pyramidsを活用することで、視点跨ぎおよび被験者跨ぎのRGB-D行動認識ベンチマークで最先端の性能を達成する。

ABSTRACT

We propose Human Pose Models that represent RGB and depth images of human poses independent of clothing textures, backgrounds, lighting conditions, body shapes and camera viewpoints. Learning such universal models requires training images where all factors are varied for every human pose. Capturing such data is prohibitively expensive. Therefore, we develop a framework for synthesizing the training data. First, we learn representative human poses from a large corpus of real motion captured human skeleton data. Next, we fit synthetic 3D humans with different body shapes to each pose and render each from 180 camera viewpoints while randomly varying the clothing textures, background and lighting. Generative Adversarial Networks are employed to minimize the gap between synthetic and real image distributions. CNN models are then learned that transfer human poses to a shared high-level invariant space. The learned CNN models are then used as invariant feature extractors from real RGB and depth frames of human action videos and the temporal variations are modelled by Fourier Temporal Pyramid. Finally, linear SVM is used for classification. Experiments on three benchmark cross-view human action datasets show that our algorithm outperforms existing methods by significant margins for RGB only and RGB-D action recognition.

研究の動機と目的

• 視点、照明、衣服、背景の変化といった困難な条件下でも、人体行動認識のロバスト性を向上させること。
• 行動に無関係な要因を捉えることのできる、大規模かつ多様な合成RGB-D学習データをスケーラブルに生成する手法の開発。
• 深層CNNを用いて、視点、体形、テクスチャ、照度に依存しない人体ポーズ表現を学習すること。
• 不変ポーズ特徴の時系列的ダイナミクスをFourier Temporal Pyramidを用いてモデリングし、行動分類の性能を向上させること。
• 合成データと不変特徴学習の有効性を、RGB-D行動認識ベンチマークデータセット上で実証すること。

提案手法

• CMU MoCapデータベースのモーショントラッキングスケルトンデータから、代表的な人体ポーズをクラスタリングにより抽出する。
• 個々のポーズに、多様な体形を持つ合成3次元人体モデルをフィットさせ、ランダムに選択された衣服、背景、照明条件下で180のカメラ視点からレンダリングする。
• 生成対抗ネットワーク（GAN）を訓練し、実画像と合成画像のRGBおよび深度画像の分布差を最小化する。
• 畳み込みニューラルネットワーク（CNN）を訓練し、入力のRGBおよび深度画像を共通の高次元不変ポーズ空間にマップする。最終的なSoftmax層の直前までの特徴をポーズ表現として使用する。
• 不変ポーズ特徴の時系列的変化をFourier Temporal Pyramidを用いてモデリングし、行動ダイナミクスを捉える。
• 最終的な行動分類には、時系列特徴シーケンスに対して線形SVMを用いる。

実験結果

リサーチクエスチョン

• RQ1 合成データ生成が、視点、衣服、照明といった人体ポーズの多様な変化を効果的にモデル化でき、行動認識のロバスト性を向上させることができるか？
• RQ2 GANが、実画像と合成RGB-D画像のドメインギャップをどの程度埋めることができるか？
• RQ3 合成データで学習したCNNベースのHuman Pose Modelsが、異なるカメラ視点や被験者に対してどれほど一般化できるか？
• RQ4 不変ポーズ特徴とFourier Temporal Pyramidの組み合わせが、視点跨ぎおよび被験者跨ぎのベンチマークで行動認識性能を向上させるか？
• RQ5 事前学習を大規模な実データセットで行ったC3DやLRCNのような既存モデルに対しても、合成データが顕著な性能向上をもたらすか？

主な発見

• 提案手法は、3つのベンチマーク視点跨ぎRGB-D行動認識データセットにおいて、既存の最先端手法を上回り、顕著な正確性向上を達成した。
• UCF-101 Human Body Motionサブセットでは、2倍の合成学習データを用いて84.6%の正確性を達成し、C3Dの84.8%に近い性能を発揮したが、C3Dが数百万本の動画を用いているのに対し、本手法は数十万フレーム程度のデータで達成した。
• HPMモデルはC3Dの約7分の1のサイズであり、強力な性能を発揮しながらも、パラメータ効率が非常に高いことを示した。
• 合成データの使用により、大規模な実データセットで事前学習済みのC3DおよびLRCNの両方の性能が向上した。これは、制御可能で多様なデータ拡張の価値を示している。
• Fourier Temporal Pyramidは、不変ポーズ特徴の時系列的ダイナミクスを効果的にモデリングし、ロバストな行動分類に寄与した。
• GANを用いた合成画像の精錬により、実画像に近いリアルさと分布の類似性が向上し、下流モデルの一般化性能が向上した。