[論文レビュー] Egocentric Human Segmentation for Mixed Reality

Andrija Gajić, Ester González-Sosa+3 more|arXiv (Cornell University)|May 25, 2020

Human Pose and Action Recognition参考文献 12被引用数 5

ひとこと要約

本稿では、15,000枚の軽量で準合成的なデータセットと変更を加えたThunderNetアーキテクチャを用いた、リアルタイムのエゴセントリック人体セグメンテーション手法を提案する。本手法は720×720画像で16msの推論時間を達成し、混合現実における高精細な動画自己アバターの実現を可能にし、リアルタイム性能の妥協なしに没入感と身体性を向上させる。

ABSTRACT

The objective of this work is to segment human body parts from egocentric video using semantic segmentation networks. Our contribution is two-fold: i) we create a semi-synthetic dataset composed of more than 15, 000 realistic images and associated pixel-wise labels of egocentric human body parts, such as arms or legs including different demographic factors; ii) building upon the ThunderNet architecture, we implement a deep learning semantic segmentation algorithm that is able to perform beyond real-time requirements (16 ms for 720 x 720 images). It is believed that this method will enhance sense of presence of Virtual Environments and will constitute a more realistic solution to the standard virtual avatars.

研究の動機と目的

• ピxls単位のアノテーションを備えた、公開可能で高品質なエゴセントリック人体セグメンテーションデータセットの不足に対処すること。
• 全身のエゴセントリックビュー（腕、脚、多様な人種的背景を含む）を処理できるリアルタイムのセマンティックセグメンテーションモデルを開発すること。
• エゴセントリックカメラからのリアルタイム動画自己アバターに置き換えることで、仮想環境におけるユーザーの没入感と身体性を向上させること。
• 従来の色ベースおよび深度ベースの手法が制御不能な照明条件や衣装状況で示す限界を克服すること。
• 高精度なセグメンテーションを維持しながら、720×720画像あたり16msのリアルタイム性能（16ms/画像）を達成すること。

提案手法

• 実際のエゴセントリックな身体部位（腕、脚）をクロマキー背景に撮影し、リアルな背景に合成することで、手動でのピxlsレベルのラベル付けを回避した準合成データセットを作成した。
• ResNet-18ベースのエンコーダ、サンプリング要因6, 12, 18, 24のピラミッドプーリングモジュール（PPM）、デコンボリューションブロックを備えたデコーダを有する、変更を加えたThunderNetアーキテクチャを採用した。
• エンコーダとデコーダの間に3つの長距離スキップ接続を追加し、境界予測の精緻化とセグメンテーション精度の向上を図った。
• クラスの不均衡に対処するため、重み付き交差エントロピー損失（背景: 0.56、人間: 3.27）を用いてエンドツーエンドで学習した。
• 照明や空間的変動に対する耐性を高めるために、色彩的およびクロッピングのデータ拡張技術を適用した。
• ImageNetで事前学習した重みを、バッチサイズ8、25エポック、最適化手法としてAdam、および学習率1e-5を用いて、カスタムデータセット上で微調整した。

実験結果

リサーチクエスチョン

• RQ1 準合成エゴセントリック人体セグメンテーションデータセットは、リアルタイムのディープラーニングモデルの学習に効果的に利用可能か？
• RQ2 軽量なセマンティックセグメンテーションネットワークは、720×720解像度の画像で16ms以内のリアルタイム推論（≤16ms）を達成しつつ、高い精度を維持できるか？
• RQ3 本手法のアーキテクチャは、肌の色や衣装の種類にかかわらず、従来手法と比較してセグメンテーション品質と耐性に優れているか？
• RQ4 損失の重み付けとデータ拡張は、背景領域における誤検出の削減にどのような影響を与えるか？
• RQ5 十分な忠実度で全身のエゴセントリックセグメンテーションが達成可能か、これにより混合現実における没入感と身体性が向上するか？

主な発見

• 標準的なPC（2台のGTX-1080 Ti GPU搭載）で、720×720画像あたり16msの推論時間を達成し、リアルタイム要件を満たした。
• 複数のベンチマークデータセットにおいて、競争力のある交差領域（IoU）スコアを維持した。特にGTEAデータセットでは0.54のIoU、TEgO wildデータセットでは0.53のIoUを記録した。
• 定性的な結果から、複雑な照明条件やオクルージョン状況でも、従来手法に比べて境界の正確性が向上し、誤検出が減少していることが示された。
• 重み付き交差エントロピー損失の使用により、背景の変動が著しい中でも人体部位への注目が強化され、背景への過学習が著しく減少した。
• 色彩的およびクロッピングの拡張により、エゴセントリックビューにおける照明変化や空間的位置変動に対する耐性が向上した。
• 改善は見られたが、依然として背景領域に誤検出が残存しており、高度な損失関数や2段階学習によるさらなる最適化の余地があることが示唆された。