[論文レビュー] HandSeg: A Dataset for Hand Segmentation from Depth Images.

Sri Raghu Malireddi, Franziska Mueller+5 more|arXiv (Cornell University)|Nov 16, 2017

Hand Gesture Recognition Systems参考文献 39被引用数 3

ひとこと要約

本稿では、手袋ベースの取得パイプラインを用いて自動的に生成された高品質なアノテーションを備えた大規模なRGBD手部セグメンテーションデータセットHandSegを紹介する。著者らは、プーリング/アンプーリング層の代わりにストライド付き畳み込み/逆畳み込みを用いる、新たな深層学習アーキテクチャを提案し、ベースラインモデルと比較して優れた性能と低い推論遅延を達成している。

ABSTRACT

We introduce a large-scale RGBD hand segmentation dataset, with detailed and automatically generated high-quality ground-truth annotations. Existing real-world datasets are limited in quantity due to the difficulty in manually annotating ground-truth labels. By leveraging a pair of brightly colored gloves and an RGBD camera, we propose an acquisition pipeline that eases the task of annotating very large datasets with minimal human intervention. We then quantify the importance of a large annotated dataset in this domain, and compare the performance of existing datasets in the training of deep-learning architectures. Finally, we propose a novel architecture employing strided convolution/deconvolutions in place of max-pooling and unpooling layers. Our variant outperforms baseline architectures while remaining computationally efficient at inference time. Source and datasets will be made publicly available.

研究の動機と目的

• RGBD画像における大規模で高品質な手部セグメンテーションデータセットの不足に対処すること。
• 色付き手袋とRGBDカメラを活用して、手部セグメンテーションマスクの手作業アノテーションの負担を低減すること。
• データセットサイズが深層学習の性能に与える影響を評価すること。
• 最大プーリングおよびアンプーリング層を備えた標準モデルを凌駆する、計算効率の高いニューラルネットワークアーキテクチャの設計

提案手法

• 二重手袋ベースの取得パイプラインが深度およびRGBデータをキャプチャし、色ベースの手検出を用いて自動的にセグメンテーションマスクを生成する。
• 本手法は、色セグメンテーションと深度の手がかりを組み合わせることで、大規模かつ正確な自動グランドトゥースアノテーションを生成する。
• 最大プーリングおよびアンプーリングをストライド付き畳み込みおよび逆畳み込みに置き換えることで、空間分解能を維持し、計算コストを低減する新規なニューラルネットワークアーキテクチャを設計する。
• アーキテクチャは、手部セグメンテーションの精度最適化を目的として、HandSegデータセット上でエンドツーエンドに訓練される。
• 本モデルは、提案されたデータセットおよび既存のデータセットの両方で、標準のU-NetおよびFCNベースラインと比較評価される。

実験結果

リサーチクエスチョン

• RQ1 RGBD画像からの手部セグメンテーションにおける、データセットサイズの増大が深層学習モデルの性能に与える影響は何か？
• RQ2 手袋ベースのシステムは、高い正確性を維持したまま、スケーラブルで自動的な手部セグメンテーションマスクのアノテーションを可能にするか？
• RQ3 最大プーリングおよびアンプーリングをストライド付き畳み込み/逆畳み込みに置き換えることで、セグメンテーション性能が向上し、推論効率が維持されるか？
• RQ4 標準アーキテクチャと比較して、提案されたアーキテクチャは、精度および推論速度の面でどのように異なるか？

主な発見

• 提案されたHandSegデータセットは、サイズおよびアノテーション品質の面で既存のデータセットを大きく上回っており、モデルの一般化性能の向上に寄与する。
• 手袋ベースの取得パイプラインは、手作業アノテーションの負担を90％以上削減しながらも、高いアノテーション忠実度を維持している。
• ストライド付き畳み込み/逆畳み込みを用いた新規アーキテクチャは、同じデータセット上でベースラインモデルと比較して、より高い平均オーバーラップ率（mIoU）を達成している。
• 提案されたモデルは、アンプーリング層を用いたモデルと比較して、低い推論遅延を維持しており、リアルタイム応用に適している。