[論文レビュー] Ego2Hands: A Dataset for Egocentric Two-hand Segmentation and Detection

Fanqing Lin, Price, Brian+1 more|arXiv (Cornell University)|Nov 14, 2020

Hand Gesture Recognition Systems参考文献 34被引用数 12

ひとこと要約

本稿では、未検知環境においてドメイン適応を必要とせず、高い精度を達成するドメイン汎用的なモデルを可能にする、約18万件の半自動アノテート済み右手インスタンスと2,000フレームの手動検証フレームを有する大規模なエゴセントリックRGBデータセットEgo2Handsを紹介する。色に依存しない合成技術を用い、右手の反転を左手として組み合わせることで、相互に遮蔽を伴う現実的な二本の手の構成が可能となり、未学習の環境に対しても高い性能を発揮し、従来のベンチマークに比べて多様性、アノテーション品質、一般化性能の面で優れている。

ABSTRACT

Hand segmentation and detection in truly unconstrained RGB-based settings is important for many applications. However, existing datasets are far from sufficient in terms of size and variety due to the infeasibility of manual annotation of large amounts of segmentation and detection data. As a result, current methods are limited by many underlying assumptions such as constrained environment, consistent skin color and lighting. In this work, we present Ego2Hands, a large-scale RGB-based egocentric hand segmentation/detection dataset that is semi-automatically annotated and a color-invariant compositing-based data generation technique capable of creating training data with large quantity and variety. For quantitative analysis, we manually annotated an evaluation set that significantly exceeds existing benchmarks in quantity, diversity and annotation accuracy. We provide cross-dataset evaluation as well as thorough analysis on the performance of state-of-the-art models on Ego2Hands to show that our dataset and data generation technique can produce models that generalize to unseen environments without domain adaptation.

研究の動機と目的

• 実世界の展開を想定した、大規模で多様かつ正確にアノテートされたエゴセントリック手分類・検出データセットの不足に対処する。
• 制限された照明条件、皮膚色の一貫性、ドメインシフトを伴う合成データに依存する既存のデータセットの限界を克服する。
• スケーリングを実現しながらも、現実性と多様性を保つ半自動アノテーションパイプラインと、光合成ベースのデータ生成技術を開発する。
• 新しいシーンに対してドメイン適応を必要とせず、RGBベースの手分類・検出モデルにおけるドメイン一般化を可能にする。
• 相互に遮蔽を伴う手や変動する照明を含む、実世界のエゴセントリック手認識を評価するためのベンチマークを提供する。

提案手法

• グリーンスクリーンを用いて、約18万件のユニークな右手インスタンスを収集し、半自動によるセグメンテーションアノテーションを実施する。
• 右手の画像を水平反転することで左手インスタンスを生成し、相互に遮蔽を伴う現実的な二本の手の構成を可能にする。
• グレースケール画像とエッジマップを用いた色に依存しない入力空間を導入することで、照明や皮膚色の変動に対する耐性を向上させる。
• 手検出をセグメンテーションとともに支援するため、半自動のヒートマップエナジー アノテーション手法を開発する。
• 光合成ベースのデータ生成技術を用いて、現実的な手のポーズ、背景、照明条件を備えた多様なトレーニングサンプルを合成する。
• Ego2Hands データセット上で深層学習モデル（例：ICNet、RefineNet、UNetの変種）を訓練・評価し、一般化および適応性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 光合成ベースのデータ生成手法により、ドメイン適応を必要とせず、未学習のエゴセントリック環境に一般化可能なトレーニングデータを生成できるか？
• RQ2 本稿で提案する半自動アノテーションパイプラインは、完全に手動で行うアノテーションと比較して、スケーラビリティとアノテーション精度の面でどのように異なるか？
• RQ3 グレースケール画像とエッジマップを入力として用いることで、実世界の設定における照明や皮膚色の変動に対するモデルの耐性はどの程度向上するか？
• RQ4 UNet、ICNet、RefineNetなどの異なるネットワークアーキテクチャは、Ego2Handsベンチマーク上で、精度、推論速度、モデルサイズの面でどのようにトレードオフを形成するか？
• RQ5 Ego2Handsで学習したモデルは、多様な皮膚色や照明条件を有する未学習のシーンにおいても、高い性能を達成できるか？

主な発見

• Ego2Hands データセットには約18万件のユニークな右手インスタンスと2,000フレームの手動アノテート評価フレームが含まれており、量と多様性の面で既存のベンチマークを大きく上回っている。
• Ego2Hands で学習したモデルは、ドメイン適応を必要とせず、多様な照明条件や皮膚色に対して良好な一般化性能を示し、高いセグメンテーションおよび検出精度を達成している。
• ICNet は中程度のモデルサイズと推論速度で優れた性能を発揮し、精度と効率のバランスの取れた選択肢を提供している。
• 評価済みのモデルの中で、RefineNet が最も高い一般化精度を達成しており、Ego2Hands データと組み合わせた深層アーキテクチャの有効性を示している。
• 軽量な $ ext{UNet}_{1/8}$ モデルは最小限のパラメータ数と高速な推論を実現し、リアルタイム応用に適している。
• エッジマップとエナジー出力チャネルの追加により、セグメンテーションおよび検出性能が向上し、下流タスクにおける有用な検出信号を提供している。