[論文レビュー] Generating Realistic Training Images Based on Tonality-Alignment Generative Adversarial Networks for Hand Pose Estimation

Liangjian Chen, Shih-Yao Lin+6 more|arXiv (Cornell University)|Nov 25, 2018

Human Pose and Action Recognition参考文献 45被引用数 16

ひとこと要約

本稿では、ARシミュレータから得た合成された手のポーズと、実際の背景を融合させることで、リアルな手のポーズ画像を合成する、トーン・アライメントを考慮した生成的敵対ネットワーク（TAGAN）を提案する。色調とトーンの分布を一致させることで、トレーニングデータの質を向上させ、SOTAのベースラインと比較して2次元および3次元の手のポーズ推定性能を顕著に向上させる。

ABSTRACT

Hand pose estimation from a monocular RGB image is an important but challenging task. The main factor affecting its performance is the lack of a sufficiently large training dataset with accurate hand-keypoint annotations. In this work, we circumvent this problem by proposing an effective method for generating realistic hand poses and show that state-of-the-art algorithms for hand pose estimation can be greatly improved by utilizing the generated hand poses as training data. Specifically, we first adopt an augmented reality (AR) simulator to synthesize hand poses with accurate hand-keypoint labels. Although the synthetic hand poses come with precise joint labels, eliminating the need of manual annotations, they look unnatural and are not the ideal training data. To produce more realistic hand poses, we propose to blend a synthetic hand pose with a real background, such as arms and sleeves. To this end, we develop tonality-alignment generative adversarial networks (TAGANs), which align the tonality and color distributions between synthetic hand poses and real backgrounds, and can generate high quality hand poses. We evaluate TAGAN on three benchmarks, including the RHP, STB, and CMU-PS hand pose datasets. With the aid of the synthesized poses, our method performs favorably against the state-of-the-arts in both 2D and 3D hand pose estimations.

研究の動機と目的

• 深層学習モデルのトレーニングに適した、大規模かつリアルな手のポーズデータセットに、正確な3次元キーポイントアノテーションが付与されていないという問題に対処すること。
• ARシミュレータで生成される合成手のポーズ画像のリアルさを向上させることで、モデルの一般化性能が低下するのを防ぐこと。
• 形状とトーン・カラーディストリビューションを考慮した、条件付きGANベースの手法を開発し、合成された手のポーズを実際の背景に自然に融合させること。
• TAGANで生成された画像を用いてトレーニングした手のポーズ推定器が、ベンチマークデータセットで優れた性能を示すことを実証すること。
• アーキテクチャの変更なしに、既存のポーズ推定モデルを向上させるスケーラブルなデータ拡張ソリューションを提供すること。

提案手法

• 拡張現実（AR）シミュレータを用いて、正確な3次元キーポイントアノテーションが付与された大規模な手のポーズ画像を合成する。
• 各々の合成された手のポーズを実際の背景画像と融合させ、複合トレーニングサンプルを作成する。
• 形状とトーンの制約を伴う画像間変換を実行する条件付きGANとして、トーン・アライメント生成的敵対ネットワーク（TAGAN）を提案する。
• 入力画像と生成画像間の色分布および明度を一致させるために、トーン・アライメント損失を導入し、視覚的アーティファクトを低減する。
• 画像変換中に正しい手のポーズ構造を保持するために、形状特徴を条件入力として用いる。
• エンド・トゥ・エンドにGANを訓練し、視覚的に本物の画像と区別がつかない高精細でリアルな手の画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 合成された手のポーズを実際の背景と融合させることで、手のポーズ推定のトレーニングデータのリアルさが向上するか？
• RQ2 条件付きGANモデルが、合成された手と実際の背景の間でトーンおよび色分布を効果的に一致させ、ドメインギャップを低減できるか？
• RQ3 TAGANで生成された画像を用いて拡張したデータでトレーニングした2次元および3次元の手のポーズ推定器が、ベースライン手法と比較して測定可能な性能向上を達成するか？
• RQ4 TAGANで生成されたデータでトレーニングした手のポーズ推定器の性能は、本物のデータまたは単独の合成データでトレーニングした場合と比較してどの程度か？
• RQ5 トーンのアライメントが、合成された手のポーズ画像のリアルさおよび一般化性能にどの程度寄与しているか？

主な発見

• TAGANで生成されたデータを用いて3次元手のポーズ推定器をトレーニングした結果、RHPデータセットでは3次元ポーズ推定の平均誤差（EPE）が11.4mm低下し、STBデータセットでは8.7mm低下した。
• 2次元ポーズ推定において、RHPデータセットではEPE誤差が0.98ピクセル、STBデータセットでは0.06ピクセル低下した。
• CMU-PSデータセットにおいて、CPMモデルのPCK@20精度は、TAGANで生成されたデータでトレーニングした場合、24.09から28.81に上昇した。これは、一般化性能の顕著な向上を示している。
• CPMモデルのEPE平均誤差は、TAGANで拡張したデータを使用した場合、55.99mmから52.93mmに低下した。これは回帰精度の向上を確認している。
• TAGANで生成されたデータは、元のARシミュレータで生成された手のポーズや、ARと実背景を融合させたAR+RBGと比較して優れた性能を示し、トーンアライメントの有効性を裏付けた。
• STBおよびRHPデータセットの両方で、TAGANで拡張したデータでトレーニングしたHand3Dモデルは、Z&B や Mueller et al. の手法を上回る、3次元手のポーズ推定分野における最先端の性能を達成した。