[論文レビュー] HandAugment: A Simple Data Augmentation Method for Depth-Based 3D Hand Pose Estimation

Zhaohui Zhang, Shipeng Xie+2 more|arXiv (Cornell University)|Jan 3, 2020

Human Pose and Action Recognition参考文献 23被引用数 16

ひとこと要約

HandAugmentは、ノイズを含むMANOベースの合成深度画像を用いたデータ合成手法と二段階のニューラルネットワークを提案し、深度マップからの3次元手のポーズ推定を向上させる。実データと合成データ（視点、関節、形状のノイズを含む）を組み合わせることで、ベースライン比27.84%の誤差低減を達成し、HANDS 2019コンテストで優勝を獲得した。

ABSTRACT

Hand pose estimation from 3D depth images, has been explored widely using various kinds of techniques in the field of computer vision. Though, deep learning based method improve the performance greatly recently, however, this problem still remains unsolved due to lack of large datasets, like ImageNet or effective data synthesis methods. In this paper, we propose HandAugment, a method to synthesize image data to augment the training process of the neural networks. Our method has two main parts: First, We propose a scheme of two-stage neural networks. This scheme can make the neural networks focus on the hand regions and thus to improve the performance. Second, we introduce a simple and effective method to synthesize data by combining real and synthetic image together in the image space. Finally, we show that our method achieves the first place in the task of depth-based 3D hand pose estimation in HANDS 2019 challenge.

研究の動機と目的

• 深度ベースの3次元手のポーズ推定のための、大規模かつ多様なトレーニングデータの不足に対処すること。
• 正確なポーズ推定に不可欠な深度画像内の手領域の局所化を改善すること。
• ノイズを含むデータ合成により、実データと合成データの間のドメインギャップを埋めること。
• 2次元CNNベースの手のポーズ推定器の汎化性能と性能を向上させる、効果的でシンプルなデータ拡張戦略を開発すること。
• 実世界の深度ベースの3次元手のポーズ推定タスクで最先端の性能を達成すること。

提案手法

• 最初の段階で手領域を検出する2段階のニューラルネットワークアーキテクチャを提案し、2番目の段階でクロップされた手領域を用いてポーズ推定を精緻化する。
• 手の形状、関節、カメラの視点を制御可能な変化を加えて、MANOハンドモデルを用いて合成深度画像を生成する。
• 3つのデータ合成戦略を導入：元のMANOパラメータの使用、実データと合成データの混合、MANOパラメータへのノイズの適用（視点、関節、形状）。
• MANOパラメータにノイズを注入することで、現実的な変化を再現し、合成データと実データの間のドメインギャップを低減する。
• 2段階目のネットワークを1段階目のネットワークからファインチューニングすることで、特徴の学習と汎化性能を向上させる。
• トレーニング中に実データと拡張された合成データを組み合わせることで、モデルのロバスト性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2段階のネットワークアーキテクチャは、深度画像内の手領域の局所化とその後の3次元ポーズ推定を改善できるか？
• RQ2 MANOモデルを用いた合成データ生成は、3次元手のポーズ推定における一般化誤差を低減するのにどの程度有効か？
• RQ3 合成データのパラメータ（視点、関節、形状）にノイズを加えることで、モデルのロバスト性と性能がどの程度向上するか？
• RQ4 実データと合成データを組み合わせることで、実データのみで学習する場合よりも性能が向上するか？
• RQ5 提案されたデータ拡張手法は、実世界のベンチマークで最先端の性能を達成できるか？

主な発見

• 2段階ネットワークにより、誤差はベースラインの18.93 mmから16.50 mmに低下し、手領域の局所化が改善された。
• 合成データ（SD）を追加することで、誤差は18.93 mmから16.74 mmに低下し、データ拡張の有効性が示された。
• 混合データ（MD）とノイズ付きデータ（ND）を組み込むことで、誤差はさらに15.73 mmに低下し、ノイズを含む合成データの有効性が裏付けられた。
• 2段階目のネットワークをファインチューニングすることで、誤差はファインチューニングなしの20.99 mmから16.50 mmに改善され、その重要性が立証された。
• 完全なHandAugment手法により、ベースラインモデル比27.84%の改善が達成され、誤差は18.93 mmから13.66 mmに低下した。
• HandAugmentは、HANDS 2019コンテストの深度ベース3次元手のポーズ推定タスクで第1位を獲得した。