[論文レビュー] Synthetic Video Generation for Robust Hand Gesture Recognition in Augmented Reality Applications

Varun Jain, Shivam Aggarwal+2 more|arXiv (Cornell University)|Nov 4, 2019

Human Pose and Action Recognition参考文献 9被引用数 5

ひとこと要約

本論文は、CycleGANと前景・背景のシーン合成を用いて、深度センサーゼロでAR/VRにおける堅牢なハンドジェスチャー認識を可能にする、写真のようにリアルな合成エゴセントリック動画を生成するGANベースのフレームワークを提案する。この手法により、多様な背景と一貫した指先位置特定を伴う高精細な動画が生成され、高価な実世界データ収集への依存が顕著に低減される。

ABSTRACT

Hand gestures are a natural means of interaction in Augmented Reality and Virtual Reality (AR/VR) applications. Recently, there has been an increased focus on removing the dependence of accurate hand gesture recognition on complex sensor setup found in expensive proprietary devices such as the Microsoft HoloLens, Daqri and Meta Glasses. Most such solutions either rely on multi-modal sensor data or deep neural networks that can benefit greatly from abundance of labelled data. Datasets are an integral part of any deep learning based research. They have been the principal reason for the substantial progress in this field, both, in terms of providing enough data for the training of these models, and, for benchmarking competing algorithms. However, it is becoming increasingly difficult to generate enough labelled data for complex tasks such as hand gesture recognition. The goal of this work is to introduce a framework capable of generating photo-realistic videos that have labelled hand bounding box and fingertip that can help in designing, training, and benchmarking models for hand-gesture recognition in AR/VR applications. We demonstrate the efficacy of our framework in generating videos with diverse backgrounds.

研究の動機と目的

• AR/VRアプリケーションにおけるハンドジェスチャー認識のための、大規模で多様性に富み、完全にアノテートされた実世界データセットの不足に取り組むこと。
• 照明、背景、ハンドポーズの多様性を模倣する合成データを生成することで、高価な深度センサーやマルチカメラセットアップへの依存を低減すること。
• 時間的に整合性があり、写真のようにリアルな動画を、正確なハンドバウンディングボックスと指先アノテーションを伴って生成する、スケーラブルでエンドツーエンドの動画生成パイプラインを開発すること。
• 実世界データと合成データの間のドメインシフトを軽減するため、実世界データの拡張と adversarial training を統合すること。
• 合成データを通じて、RGBオンリーハンドジェスチャー認識のためのよりシンプルで汎化性の高いディープラーニングモデルの学習を可能にすること。

提案手法

• フレームワークは、空間的一致性を保ちながら、異なる背景ドメイン間でハンドおよび指先の外観を転送する、CycleGANベースの画像対画像変換ネットワークを用いる。
• 前景生成には、Turkogluらの先行研究の事前学習モデルを用い、フレーム間で一貫した幾何学的形状と肌色を有するハンドマスクを抽出・再配置する。
• 順次的シーン生成プロセスにより、ジェスチャー固有のマスクに従ってアフィン変換を適用し、多様な背景画像に前景のハンドを合成する。
• 生成器は、ローカルなリアリズムを強制するPatchGAN識別器を採用し、アーティファクトを低減し、生成フレームの視覚的忠実度を向上させる。
• 肌色のセグメンテーションにはHSV空間を用い、GrabCutベースの前景抽出を用いてハンド領域を正確に分離する。
• 方向性に基づくアフィン変換をマスクに適用することで、システムは時間的生成をサポートし、円形ポイントなどの動的ジェスチャー列を実現する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、正確なハンドおよび指先アノテーションを備えた、写真のようにリアルで多様性に富み、時間的に整合性のあるエゴセントリック動画を生成できるか？
• RQ2 本手法で生成された合成データは、どの程度ドメインシフトを低減し、RGBベースのハンドジェスチャー認識モデルの汎化性能を向上させられるか？
• RQ3 単一の参照マスクと空間変換を用いて、本フレームワークは複雑なジェスチャー列（例：円形ポイント）を生成できるか？
• RQ4 視覚的忠実度とアーティファクト抑制の観点から、標準のCycleGANと比較して、合成動画の品質はどの程度向上しているか？
• RQ5 トレーニング中に少数の実世界サンプルを含めることで、合成データと実世界データの間のドメインギャップをさらに縮小できるか？

主な発見

• 本フレームワークは、石畳の舗装からテニスコートまで顕著に異なるドメイン間でも、最小限の視覚的アーティファクトで写真のようにリアルな動画を生成できた。
• 合成画像は、フレーム間で一貫したハンドおよび指先の位置特定を維持しており、顕著な歪みやずれは認められなかった。
• 特に肌色の色の不一致を低減し、細部をよりよく保持する点で、標準のCycleGANを上回る性能を示した。
• 単一のマスクに方向性に基づくアフィン変換を適用することで、円形ポイントなどの一貫したジェスチャー列が生成され、時間的整合性が確認された。
• 少数の実世界サンプルを含めた合成データでのトレーニングにより、モデルの汎化性能が顕著に向上し、ドメインシフトが低減した。
• 本手法により、大規模で完全にアノテートされた動画データセットの作成が可能となり、深度センサーフリーなハンドジェスチャー認識モデルの学習が可能になった。