[論文レビュー] GestureGAN for Hand Gesture-to-Gesture Translation in the Wild

Hao Tang, Wei Wang+3 more|arXiv (Cornell University)|Aug 14, 2018

Human Pose and Action Recognition参考文献 61被引用数 7

ひとこと要約

この論文では、1つの生成器と判別器を用いて、制約のない環境下で、手のジェスチャーを異なるポーズ、サイズ、位置に翻訳する条件付きGANであるGestureGANを提案する。チャネル汚染を軽減するための新規なカラーロスと、サイクル整合性ロスを導入し、写真のようにリアルで高品質な生成画像を達成し、ジェスチャー認識タスクにおけるデータ拡張に適している。

ABSTRACT

Hand gesture-to-gesture translation in the wild is a challenging task since hand gestures can have arbitrary poses, sizes, locations and self-occlusions. Therefore, this task requires a high-level understanding of the mapping between the input source gesture and the output target gesture. To tackle this problem, we propose a novel hand Gesture Generative Adversarial Network (GestureGAN). GestureGAN consists of a single generator $G$ and a discriminator $D$, which takes as input a conditional hand image and a target hand skeleton image. GestureGAN utilizes the hand skeleton information explicitly, and learns the gesture-to-gesture mapping through two novel losses, the color loss and the cycle-consistency loss. The proposed color loss handles the issue of "channel pollution" while back-propagating the gradients. In addition, we present the Fréchet ResNet Distance (FRD) to evaluate the quality of generated images. Extensive experiments on two widely used benchmark datasets demonstrate that the proposed GestureGAN achieves state-of-the-art performance on the unconstrained hand gesture-to-gesture translation task. Meanwhile, the generated images are in high-quality and are photo-realistic, allowing them to be used as data augmentation to improve the performance of a hand gesture classifier. Our model and code are available at https://github.com/Ha0Tang/GestureGAN.

研究の動機と目的

• 制約のない環境下で、任意のポーズ、サイズ、位置、遮蔽を伴う手のジェスチャー間翻訳の課題に対処すること。
• 明示的な手のスケルトンの監視を活用することで、複雑な事前処理や環境的制約への依存を低減すること。
• 生成モデルにおけるチャネル汚染によって引き起こされるぼやけを低減し、画像品質を向上させること。
• 異なるジェスチャー領域に対して複数のモデルを訓練する必要を回避するスケーラブルなフレームワークを開発すること。
• 生成された画像の有効性を、手のジェスチャー分類タスクにおけるデータ拡張の観点から評価・検証すること。

提案手法

• GestureGANは、ソースの手の画像とターゲットの手のスケルトン画像を条件として、1つの生成器と判別器を使用する。
• バックプロパゲーション中に勾配干渉を防ぎ、チャネル汚染を低減するために、各チャネルを独立して処理する新規なカラーロスを導入する。
• ソース画像と翻訳されたジェスチャー画像間の構造的整合性を強制するため、サイクル整合性ロスを導入する。
• 事前学習済みResNetからの特徴を比較することで、生成画像の知覚的品質を評価するためのFréchet ResNet Distance（FRD）指標を提案する。
• 2つの公開データセット（NTU Hand GestureとSenz3D）上で、テスト時にデータ拡張を適用しながら、エンドツーエンドで訓練する。
• 生成器は、ソースとターゲットのジェスチャーのスケールや距離が著しく異なる場合でさえも、多様なポーズ、サイズ、空間的位置にわたるジェスチャー翻訳を学習する。

実験結果

リサーチクエスチョン

• RQ1 1つのGANモデルが、制約のない環境下で、任意のポーズ、サイズ、位置にわたる手のジェスチャーを効果的に翻訳できるか。
• RQ2 マルチチャネル生成モデルにおけるチャネル汚染をどのように軽減できるか。これにより、画像のシャープネスと品質が向上するか。
• RQ3 生成されたジェスチャー画像が、下流の手のジェスチャー分類モデルの性能をどの程度向上できるか。
• RQ4 スケールやジェスチャー間距離が異なる多様なジェスチャー対に対して、モデルの安定性はどの程度保たれるか。
• RQ5 FRDのような新規な指標が、GANで生成された手のジェスチャー画像の知覚的品質を信頼性高く評価できるか。

主な発見

• GestureGANは、NTU Hand GestureおよびSenz3Dのベンチマークデータセットにおいて、最先端の性能を達成し、画像品質と翻訳の忠実度で既存手法を上回った。
• NTU Hand Gestureデータセットでは、データ拡張を適用した場合、ジェスチャー認識の正確度が96.667%に向上した。一方、拡張なしでは15.000%にとどまった。
• Senz3Dデータセットでは、拡張データを用いることで認識正確度が99.747%に達し、ベースラインの34.343%を大きく上回った。
• モデルは、ジェスチャーのサイズやジェスチャー間距離の変動に対しても頑健であり、多様な入力条件下でも高品質な生成を維持した。
• Fréchet ResNet Distance（FRD）指標は、知覚的画像品質と良好に相関しており、生成画像が写真のようにリアルで、データ拡張に適していることを示した。
• カラーロスは、PG 2 や PoseGAN といったベースラインと比較して、チャネル汚染を効果的に低減し、よりシャープで現実的である生成画像を実現した。