[論文レビュー] Fine Hand Segmentation using Convolutional Neural Networks

Tadej Vodopivec, Vincent Lepetit+1 more|arXiv (Cornell University)|Aug 26, 2016

Video Surveillance and Tracking Methods参考文献 15被引用数 11

ひとこと要約

本稿では、プーリングやアップサンプリングを回避し、完全結合層を介してマルチスケール特徴量をセグメンテーションマスクに直接マッピングすることで、リアルタイムで高精度なハンドセグメンテーションを実現する2段階の畳み込みニューラルネットワークを提案する。この手法は、1枚あたり39msで99.3%の精度を達成し、標準的なU-Netスタイルのアーキテクチャーやカラーベースの手法を上回り、反復的リファインメントによりエッジの正確性が向上し、誤検出が低減される。

ABSTRACT

We propose a method for extracting very accurate masks of hands in egocentric views. Our method is based on a novel Deep Learning architecture: In contrast with current Deep Learning methods, we do not use upscaling layers applied to a low-dimensional representation of the input image. Instead, we extract features with convolutional layers and map them directly to a segmentation mask with a fully connected layer. We show that this approach, when applied in a multi-scale fashion, is both accurate and efficient enough for real-time. We demonstrate it on a new dataset made of images captured in various environments, from the outdoors to offices.

研究の動機と目的

• エゴセントリックな拡張現実アプリケーションにおける正確でリアルタイムなハンドセグメンテーションの課題を解決すること。
• 複雑な照明、隠蔽、類似した肌色の背景においてしばしば失敗する、プーリングやアップサンプリング、カラーベースの手がかりに依存する既存手法の限界を克服すること。
• 特徴マップのアップスケーリングを回避し、コンテキストに配慮したリファインメントを施す2段階のネットワークを用いることで、セグメンテーションの正確性とエッジの鋭さを向上させること。
• 新たに収集されたデータセットを用いて、屋内および屋外を含む多様な環境においても堅牢な性能を示すことを実証すること。

提案手法

• 入力画像を元解像度、1/2解像度、1/4解像度の3つのスケールで処理する平行な3つの畳み込みチェーンを用い、プーリング層を一切使用せずにマルチスケール特徴量を抽出する。
• 全スケールの特徴量を連結し、完全結合層に通してピクセル単位のセグメンテーションマスクを生成する。これにより、U-Netスタイルのアーキテクチャで一般的な過剰平滑化を回避できる。
• ネットワークを2段階に分割する。1段階目は1/16解像度の画像を用いて粗いセグメンテーションを実行し、2段階目は元の画像と粗い予測結果を入力として用いて結果をリファインする。
• 2段階目は、高レベルのコンテキストと低レベルの詳細を両方活用するため、より小型で効率的なネットワークを用いて誤検出を補正し、エッジの局所化を向上させる。
• メタパrameterは、精度と推論速度の最適化を目的とした広範な訓練（98および95のネットワーク）により調整され、初期層で大きなフィルターサイズと多数の特徴マップを用いることで、より良い結果が得られる。
• 本手法はAuto-Contextにインspiredされているが、初期段階でダウンサンプリングされた画像でセグメンテーションを実行し、2段階目に元の画像を入力として用いることで、細部の回復を図る点で異なる。

実験結果

リサーチクエスチョン

• RQ1 プーリングやアップサンプリング層を回避する深層学習アーキテクチャは、標準的なU-Netスタイルのネットワークよりも高いセグメンテーション精度を達成できるか？
• RQ2 プーリングを用いないマルチスケール処理により、ハンド境界の局所化精度が向上し、誤検出が低減するか？
• RQ3 粗いコンテキストと細部処理を組み合わせた2段階ネットワークは、高精度かつリアルタイム性能を達成できるか？
• RQ4 2段階目に元の画像を含めることで、粗い予測結果のみを用いた場合と比較して、精度とエッジ品質にどのような影響を与えるか？
• RQ5 本手法は、複雑な現実世界の環境において、従来のカラーベースのセグメンテーションをどの程度上回るか？

主な発見

• 提案手法は、1枚あたり39msで99.3%のセグメンテーション精度を達成し、標準的なU-Netスタイルのネットワーク（185msで94.0%の精度）を顕著に上回った。
• 2段階アーキテクチャは、1段階目のみのモデル（98.3%の精度だがエッジが粗い）と比較して、誤検出を低減し、エッジの滑らかさを向上させた。
• 2段階目に元の画像を排除して粗い予測結果のみを入力とした場合、精度は98.6%に低下したが、わずかに速度が向上（36.7ms）した。これは、元の画像が精度に不可欠であることを示している。
• 本手法は、屋外およびオフィス環境を含む多様な環境においても堅牢な性能を示し、定性的な比較では通常1ピクセル程度の誤差に留まった。
• 同じデータセット上でカラーベースのセグメンテーションを実行したところ、精度はわずか81%にとどまり、マルチスケール特徴量学習を組み込んだ深層学習アプローチの優位性が確認された。
• 最も高い性能は、初期層で大きなフィルターサイズと多数の特徴マップを用いた設定で達成され、初期層が広い空間的コンテキストを捉えることで利益を享受することを示唆している。